Cara Menambahkan File Robots.txt untuk WordPress

Membuat website saja tidak cukup. Terdaftar di mesin pencari adalah tujuan penting dari semua pemilik situs web sehingga situs web menjadi terlihat di SERP untuk kata kunci tertentu. Daftar situs web dan visibilitas konten terbaru ini terutama disebabkan oleh robot mesin pencari yang merayapi dan mengindeks situs web. Webmaster dapat mengontrol cara robot ini mengurai situs web dengan memasukkan instruksi ke dalam file khusus yang disebut robots.txt.

Pada artikel ini, saya akan memberi tahu cara mengatur file robots.txt WordPress untuk SEO situs web terbaik. Perhatikan bahwa beberapa halaman situs WordPress tidak perlu diindeks oleh mesin pencari.

Apa itu File Robots.txt?

Robots.txt adalah file teks yang terletak di akar situs web Anda yang memberi tahu perayap mesin telusur untuk tidak merayapi bagian situs web Anda. Ini juga dikenal sebagai Protokol Pengecualian Robot yang mencegah mesin pencari mengindeks konten tertentu yang tidak berguna dan/atau spesifik (misalnya halaman login dan file sensitif Anda).

Singkatnya, robots.txt memberi tahu bot mesin telusur apa yang tidak boleh dirayapi di situs web Anda.

Berikut adalah cara kerjanya! Saat bot mesin telusur akan merayapi URL situs web Anda (yaitu, bot akan merayapi dan mengambil informasi sehingga dapat diindeks), bot akan mencari file Anda robots.txt terlebih dahulu.

Mengapa Membuat Robots.txt untuk WordPress?

Anda biasanya tidak perlu menambahkan file robots.txt untuk situs WordPress. Mesin pencari mengindeks seluruh situs WordPress secara default. Namun, untuk SEO yang lebih baik, Anda dapat menambahkan file robots.txt ke direktori root Anda untuk secara khusus melarang mesin telusur mengakses area tertentu dari situs WordPress Anda.

IdeaBox – Studi Kasus

Baca bagaimana Cloudways Membantu Agensi WordPress Membangun Produk yang Lebih Baik.

Saya setuju dengan Ketentuan Layanan & Kebijakan Privasi Cloudways

Dapatkan Studi Kasus Sekarang!

Terima kasih

Ebook Anda sedang menuju Kotak Masuk Anda.

Bagaimana Cara Membuat Robots.txt untuk WordPress?

Masuk ke dasbor hosting web WordPress terkelola Anda. Dalam contoh saya, saya menggunakan Cloudways – Platform Managed Cloud Hosting.

Buka tab Servers dari bilah menu atas dan dapatkan akses SSH/SFTP Anda dari Server Management → Master Credentials .

Gunakan aplikasi server FTP apa pun untuk mengakses file database WordPress Anda. Saya menggunakan FileZilla untuk tutorial ini. Luncurkan dan sambungkan ke server Anda dengan menggunakan Kredensial Master .

Setelah terhubung, buka folder / aplikasi dari file database WordPress Anda. Anda akan melihat folder yang berbeda di sana.

Sekarang kembali ke Platform Cloudways dan dari bilah kiri atas, buka Aplikasi . Pilih aplikasi yang ingin Anda tambahkan file robots.txt untuk:

Dari panel kiri, buka Manajemen Aplikasi → Pengaturan Aplikasi → Umum . Anda akan menemukan nama folder aplikasi Anda.

Kembali ke FileZilla lalu navigasikan ke /applications/[FOLDER NAME]/public_html . Buat file teks baru di sini dan beri nama robots.txt .

Klik kanan pada file robots.txt , dan klik Lihat/Edit untuk membukanya di editor teks (Notepad adalah opsi yang praktis).

Robots.txt Tingkat Lanjut untuk WordPress

Mesin pencari seperti Google dan Bing mendukung penggunaan wildcard dalam file robots.txt. Wildcard ini dapat digunakan untuk mengizinkan/melarang jenis file tertentu di seluruh situs WordPress.

Tanda bintang (*) dapat digunakan untuk menangani berbagai pilihan/pilihan.

 Agen pengguna: *
Larang : /images/image*.jpg

Di sini, "*" berarti bahwa semua gambar yang dimulai dengan "gambar" dan dengan ekstensi "jpg" tidak akan diindeks oleh mesin pencari. Berikut adalah beberapa contoh robots.txt WordPress.

Contoh: image1.jpg, image2.jpg, imagexyz.jpg tidak akan diindeks oleh mesin pencari.

Kekuatan * tidak terbatas pada gambar saja. Anda bahkan dapat melarang semua file dengan ekstensi tertentu.

 Agen pengguna: *
Larang: /downloads/*.pdf
Larang: /downloads/*.png

Pernyataan di atas akan meminta semua mesin pencari untuk melarang semua file dengan ekstensi "pdf" & "png" yang ditemukan di folder unduhan.

Anda bahkan dapat melarang direktori inti WordPress dengan menggunakan *.

 Agen pengguna: *
Larang: /wp-*/

Baris di atas meminta mesin pencari untuk tidak merayapi direktori yang dimulai dengan "wp-".

Contoh: wp-include, wp-content, dll tidak akan terindeks oleh mesin pencari.

Simbol wildcard lain yang digunakan dalam file robots.txt WordPress adalah simbol dolar ($).

 Agen pengguna: *
Larang: referral.php

Pernyataan di atas akan meminta mesin pencari untuk tidak mengindeks referral.php dan juga referral.php?id=123 dan seterusnya.

Tapi bagaimana jika Anda ingin memblokir referral.php saja? Anda hanya perlu menyertakan simbol $ tepat setelah referral.php.

Simbol $ memastikan bahwa hanya referral.php yang diblokir tetapi tidak referral.php?id=123.

 Agen pengguna: *
Larang: referral.php$

Anda dapat menggunakan $ untuk direktori juga.

 Agen pengguna: *
Larang: /wp-content/

Ini akan menginstruksikan mesin pencari untuk melarang folder wp-content ditambah semua direktori yang terletak di dalam wp-content. Jika Anda ingin melarang konten wp saja daripada semua sub-folder, Anda harus menggunakan simbol $. Sebagai contoh:

 Agen pengguna: *
Larang: /wp-content/$

Simbol $ memastikan bahwa hanya konten-wp yang tidak diizinkan. Semua direktori dalam folder ini masih dapat diakses.

Di bawah ini adalah file robots.txt untuk blog Cloudways.

 Agen pengguna: *
Larang: /admin/
Larang: /admin/*?*
Larang: /admin/*?
Larang: /blog/*?*
Larang: /blog/*?

Baris pertama menunjukkan User-agent. Ini mengacu pada mesin pencari yang diizinkan untuk mengakses dan mengindeks situs web. Daftar lengkap semua bot mesin pencari tersedia di sini .

 Agen pengguna: *

Dimana * berarti semua mesin pencari. Anda dapat menentukan setiap mesin pencari secara terpisah.

 Larang: /admin/
Larang: /admin/*?*
Larang: /admin/*?

Ini tidak akan mengizinkan mesin telusur untuk merayapi direktori "admin". Seringkali mesin pencari tidak perlu mengindeks direktori ini.

 Larang: /blog/*?*
Larang: /blog/*?

Jika situs WordPress Anda adalah situs blogging, praktik terbaik adalah membatasi bot mesin telusur agar tidak merayapi kueri penelusuran Anda.

Jika situs Anda memiliki peta situs. Menambahkan URL-nya membantu bot mesin pencari dalam menemukan file peta situs. Ini menghasilkan pengindeksan halaman yang lebih cepat.

 peta situs: http://www.situsanda.com/sitemap.xml

Apa yang Harus Disertakan dalam Robots.txt untuk WordPress?

Anda memutuskan bagian mana dari situs WordPress yang ingin Anda sertakan dalam SERP. Setiap orang memiliki pandangan masing-masing tentang pengaturan file robots.txt WordPress. Beberapa menyarankan untuk tidak menambahkan file robots.txt di WordPress. Sementara menurut saya seseorang harus menambahkan dan melarang folder /wp-admin/. File robots.txt bersifat publik. Anda dapat menemukan file robots.txt dari situs web mana pun dengan mengunjungi www.example.com/robots.txt.

Kita sudah selesai dengan file robots.txt di WordPress. Jika Anda memiliki pertanyaan tentang pengaturan file robots.txt, jangan ragu untuk bertanya di bagian komentar di bawah.

Membungkus!

Seperti yang Anda lihat, file robots.txt adalah alat yang menarik untuk SEO Anda. Itu memungkinkan untuk menunjukkan kepada robot mesin pencari apa yang harus diindeks, dan apa yang tidak diindeks. Tapi harus ditangani dengan hati-hati. Konfigurasi yang buruk dapat menyebabkan deindeks total situs web Anda (contoh: jika Anda menggunakan Disallow: /). Jadi, berhati-hatilah!

Sekarang giliran Anda. Beri tahu saya jika Anda menggunakan jenis file ini dan bagaimana Anda mengonfigurasinya. Bagikan saya komentar dan umpan balik Anda di komentar.