10 Langkah Untuk Meningkatkan Kemampuan Perayapan dan Kemampuan Mengindeks Situs Anda

Kata kunci dan konten mungkin merupakan pilar kembar di mana sebagian besar strategi pengoptimalan mesin telusur dibangun, tetapi keduanya jauh dari satu-satunya yang penting.

Kurang umum dibahas tetapi sama pentingnya – tidak hanya bagi pengguna tetapi juga untuk bot pencarian – adalah kemampuan situs web Anda untuk dapat ditemukan.

Ada sekitar 50 miliar halaman web di 1,93 miliar situs web di internet. Ini terlalu banyak untuk dijelajahi oleh tim manusia mana pun, jadi bot ini, juga disebut laba-laba, melakukan peran penting.

Bot ini menentukan konten setiap halaman dengan mengikuti tautan dari situs web ke situs web dan halaman ke halaman. Informasi ini dikompilasi ke dalam database besar, atau indeks, URL, yang kemudian dimasukkan melalui algoritma mesin pencari untuk peringkat.

Proses dua langkah untuk menavigasi dan memahami situs Anda ini disebut perayapan dan pengindeksan.

Sebagai seorang profesional SEO, Anda pasti pernah mendengar istilah-istilah ini sebelumnya, tetapi mari kita definisikan hanya demi kejelasan:

• Kemampuan merangkak mengacu pada seberapa baik bot mesin pencari ini dapat memindai dan mengindeks halaman web Anda.
• Indexability mengukur kemampuan mesin pencari untuk menganalisis halaman web Anda dan menambahkannya ke indeksnya.

Seperti yang mungkin dapat Anda bayangkan, keduanya adalah bagian penting dari SEO.

Jika situs Anda mengalami perayapan yang buruk, misalnya, banyak tautan rusak dan jalan buntu, perayap mesin telusur tidak akan dapat mengakses semua konten Anda, yang akan mengecualikannya dari indeks.

Indexability, di sisi lain, sangat penting karena halaman yang tidak diindeks tidak akan muncul di hasil pencarian. Bagaimana Google dapat memberi peringkat pada halaman yang belum termasuk dalam basis datanya?

Proses perayapan dan pengindeksan sedikit lebih rumit daripada yang telah kita bahas di sini, tapi itulah gambaran dasarnya.

Jika Anda mencari diskusi yang lebih mendalam tentang cara kerjanya, Dave Davies memiliki artikel yang sangat bagus tentang perayapan dan pengindeksan.

Cara Meningkatkan Perayapan Dan Pengindeksan

Sekarang setelah kita membahas betapa pentingnya kedua proses ini, mari kita lihat beberapa elemen situs web Anda yang memengaruhi perayapan dan pengindeksan – dan mendiskusikan cara untuk mengoptimalkan situs Anda.

1. Tingkatkan Kecepatan Pemuatan Halaman

Dengan miliaran halaman web untuk dikatalogkan, spider web tidak memiliki waktu seharian untuk menunggu tautan Anda dimuat. Ini kadang-kadang disebut sebagai anggaran perayapan.

Jika situs Anda tidak dimuat dalam jangka waktu yang ditentukan, mereka akan meninggalkan situs Anda, yang berarti Anda akan tetap tidak dirayapi dan tidak diindeks. Dan seperti yang dapat Anda bayangkan, ini tidak baik untuk tujuan SEO.

Oleh karena itu, ada baiknya untuk mengevaluasi kecepatan halaman Anda secara berkala dan meningkatkannya di mana pun Anda bisa.

Anda dapat menggunakan Google Search Console atau alat seperti Screaming Frog untuk memeriksa kecepatan situs web Anda.

Jika situs Anda berjalan lambat, ambil langkah-langkah untuk mengatasi masalah tersebut. Ini dapat mencakup memutakhirkan server atau platform hosting Anda, mengaktifkan kompresi, memperkecil CSS, JavaScript, dan HTML, dan menghilangkan atau mengurangi pengalihan.

Cari tahu apa yang memperlambat waktu buka Anda dengan memeriksa laporan Data Web Inti Anda. Jika Anda menginginkan informasi yang lebih halus tentang tujuan Anda, terutama dari pandangan yang berpusat pada pengguna, Google Lighthouse adalah alat sumber terbuka yang mungkin sangat berguna bagi Anda.

2. Perkuat Struktur Tautan Internal

Struktur situs yang baik dan tautan internal adalah elemen dasar dari strategi SEO yang sukses. Situs web yang tidak terorganisir sulit untuk dijelajahi oleh mesin pencari, yang menjadikan tautan internal salah satu hal terpenting yang dapat dilakukan situs web.

Tapi jangan hanya mengambil kata kami untuk itu. Inilah yang dikatakan oleh advokat pencarian Google John Mueller tentang hal itu:

“Tautan internal sangat penting untuk SEO. Saya pikir itu salah satu hal terbesar yang dapat Anda lakukan di situs web untuk memandu Google dan memandu pengunjung ke halaman yang menurut Anda penting.”

Jika tautan internal Anda buruk, Anda juga mengambil risiko halaman yatim piatu atau halaman-halaman yang tidak tertaut ke bagian lain dari situs web Anda. Karena tidak ada yang diarahkan ke halaman ini, satu-satunya cara bagi mesin pencari untuk menemukannya adalah dari peta situs Anda.

Untuk menghilangkan masalah ini dan masalah lain yang disebabkan oleh struktur yang buruk, buat struktur internal yang logis untuk situs Anda.

Beranda Anda harus tertaut ke subhalaman yang didukung oleh halaman lebih jauh di bawah piramida. Subhalaman ini kemudian harus memiliki tautan kontekstual yang terasa alami.

Hal lain yang harus diperhatikan adalah tautan yang rusak, termasuk tautan yang salah ketik di URL. Ini, tentu saja, mengarah ke tautan yang rusak, yang akan menyebabkan kesalahan 404 yang ditakuti. Dengan kata lain, halaman tidak ditemukan.

Masalahnya adalah bahwa tautan yang rusak tidak membantu dan merusak kemampuan perayapan Anda.

Periksa kembali URL Anda, terutama jika Anda baru saja mengalami migrasi situs, penghapusan massal, atau perubahan struktur. Dan pastikan Anda tidak menautkan ke URL lama atau yang dihapus.

Praktik terbaik lainnya untuk penautan internal termasuk memiliki jumlah konten yang dapat ditautkan (konten selalu menjadi raja), menggunakan teks jangkar alih-alih gambar tertaut, dan menggunakan "jumlah yang wajar" tautan pada halaman (apa pun artinya).

Oh ya, dan pastikan Anda menggunakan tautan ikuti untuk tautan internal.

3. Kirim Peta Situs Anda Ke Google

Diberi waktu yang cukup, dan dengan asumsi Anda belum melarangnya, Google akan merayapi situs Anda. Dan itu bagus, tetapi itu tidak membantu peringkat pencarian Anda saat Anda menunggu.

Jika Anda baru saja membuat perubahan pada konten Anda dan ingin Google segera mengetahuinya, sebaiknya kirimkan peta situs ke Google Search Console.

Peta situs adalah file lain yang ada di direktori root Anda. Ini berfungsi sebagai peta jalan untuk mesin pencari dengan tautan langsung ke setiap halaman di situs Anda.

Ini bermanfaat untuk kemampuan indeks karena memungkinkan Google mempelajari beberapa halaman secara bersamaan. Sementara perayap mungkin harus mengikuti lima tautan internal untuk menemukan halaman yang dalam, dengan mengirimkan peta situs XML, perayap dapat menemukan semua halaman Anda dengan satu kunjungan ke file peta situs Anda.

Mengirimkan peta situs Anda ke Google sangat berguna jika Anda memiliki situs web yang dalam, sering menambahkan halaman atau konten baru, atau situs Anda tidak memiliki tautan internal yang baik.

4. Perbarui File Robots.txt

Anda mungkin ingin memiliki file robots.txt untuk situs web Anda. Meskipun tidak diwajibkan, 99% situs web menggunakannya sebagai aturan praktis. Jika Anda tidak terbiasa dengan ini, ini adalah file teks biasa di direktori root situs web Anda.

Ini memberi tahu perayap mesin telusur bagaimana Anda ingin mereka merayapi situs Anda. Penggunaan utamanya adalah untuk mengelola lalu lintas bot dan menjaga situs Anda agar tidak kelebihan permintaan.

Di mana ini berguna dalam hal kemampuan merangkak membatasi halaman mana yang dirayapi dan diindeks oleh Google. Misalnya, Anda mungkin tidak ingin laman seperti direktori, keranjang belanja, dan tag di direktori Google.

Tentu saja, file teks yang bermanfaat ini juga dapat berdampak negatif pada kemampuan perayapan Anda. Ada baiknya melihat file robots.txt Anda (atau meminta seorang ahli melakukannya jika Anda tidak yakin dengan kemampuan Anda) untuk melihat apakah Anda secara tidak sengaja memblokir akses perayap ke halaman Anda.

Beberapa kesalahan umum dalam file robots.text meliputi:

• Robots.txt tidak ada di direktori root.
• Penggunaan wildcard yang buruk.
• Noindex di robots.txt.
• Skrip, stylesheet, dan gambar yang diblokir.
• Tidak ada URL peta situs.

Untuk pemeriksaan mendalam dari masing-masing masalah ini – dan tip untuk menyelesaikannya, baca artikel ini.

5. Periksa Kanonikalisasi Anda

Tag kanonik menggabungkan sinyal dari beberapa URL menjadi satu URL kanonik. Ini bisa menjadi cara yang berguna untuk memberi tahu Google agar mengindeks halaman yang Anda inginkan sambil melewatkan duplikat dan versi lama.

Tapi ini membuka pintu untuk tag kanonik nakal. Ini merujuk ke versi lama dari halaman yang sudah tidak ada lagi, yang menyebabkan mesin pencari mengindeks halaman yang salah dan membuat halaman pilihan Anda tidak terlihat.

Untuk menghilangkan masalah ini, gunakan alat inspeksi URL untuk memindai tag jahat dan menghapusnya.

Jika situs web Anda diarahkan untuk lalu lintas internasional, yaitu, jika Anda mengarahkan pengguna di berbagai negara ke halaman kanonik yang berbeda, Anda harus memiliki tag kanonik untuk setiap bahasa. Ini memastikan halaman Anda diindeks dalam setiap bahasa yang digunakan situs Anda.

6. Lakukan Audit Situs

Sekarang setelah Anda melakukan semua langkah lainnya, masih ada satu hal terakhir yang perlu Anda lakukan untuk memastikan situs Anda dioptimalkan untuk perayapan dan pengindeksan: audit situs. Dan itu dimulai dengan memeriksa persentase halaman yang telah diindeks Google untuk situs Anda.

Periksa Tingkat Indeksabilitas Anda

Tingkat indeksabilitas Anda adalah jumlah halaman dalam indeks Google dibagi dengan jumlah halaman di situs web kami.

Anda dapat mengetahui berapa banyak halaman yang ada di indeks google dari Indeks Google Search Console dengan masuk ke tab "Halaman" dan memeriksa jumlah halaman di situs web dari panel admin CMS.

Ada kemungkinan besar situs Anda akan memiliki beberapa halaman yang tidak ingin Anda indeks, jadi jumlah ini kemungkinan tidak akan 100%. Tetapi jika tingkat indeksabilitas di bawah 90%, maka Anda memiliki masalah yang perlu diselidiki.

Anda bisa mendapatkan URL tanpa indeks dari Search Console dan menjalankan audit untuk URL tersebut. Ini dapat membantu Anda memahami apa yang menyebabkan masalah.

Alat audit situs berguna lainnya yang disertakan dalam Google Search Console adalah Alat Inspeksi URL. Ini memungkinkan Anda untuk melihat apa yang dilihat spider Google, yang kemudian dapat Anda bandingkan dengan laman web asli untuk memahami apa yang tidak dapat dirender oleh Google.

Audit Halaman yang Baru Diterbitkan

Setiap kali Anda memublikasikan halaman baru ke situs web Anda atau memperbarui halaman terpenting Anda, Anda harus memastikan bahwa halaman tersebut diindeks. Masuk ke Google Search Console dan pastikan semuanya muncul.

Jika Anda masih mengalami masalah, audit juga dapat memberi Anda wawasan tentang bagian lain dari strategi SEO Anda yang gagal, jadi ini adalah kemenangan ganda. Skalakan proses audit Anda dengan alat gratis seperti:

1. Katak Berteriak
2. Semrush
3. ritsleting
4. Merangkak
5. Lumar

7. Periksa Konten Berkualitas Rendah Atau Duplikat

Jika Google tidak melihat konten Anda sebagai sesuatu yang berharga bagi para pencari, Google mungkin memutuskan bahwa konten Anda tidak layak untuk diindeks. Konten tipis ini, seperti yang diketahui, dapat berupa konten yang ditulis dengan buruk (misalnya, diisi dengan kesalahan tata bahasa dan kesalahan ejaan), konten boilerplate yang tidak unik untuk situs Anda, atau konten tanpa sinyal eksternal tentang nilai dan otoritasnya.

Untuk menemukannya, tentukan halaman mana di situs Anda yang tidak diindeks, lalu tinjau kueri target untuk halaman tersebut. Apakah mereka memberikan jawaban berkualitas tinggi untuk pertanyaan para pencari? Jika tidak, ganti atau segarkan.

Konten duplikat adalah alasan lain mengapa bot dapat terhenti saat merayapi situs Anda. Pada dasarnya, yang terjadi adalah struktur pengkodean Anda membingungkannya dan tidak tahu versi mana yang akan diindeks. Ini dapat disebabkan oleh hal-hal seperti ID sesi, elemen konten yang berlebihan, dan masalah penomoran halaman.

Terkadang, ini akan memicu peringatan di Google Search Console, memberi tahu Anda bahwa Google menemukan lebih banyak URL daripada yang seharusnya. Jika Anda belum menerimanya, periksa hasil perayapan Anda untuk hal-hal seperti tag duplikat atau hilang, atau URL dengan karakter tambahan yang dapat membuat pekerjaan ekstra untuk bot.

Perbaiki masalah ini dengan memperbaiki tag, menghapus halaman, atau menyesuaikan akses Google.

8. Hilangkan Rantai Pengalihan Dan Pengalihan Internal

Seiring berkembangnya situs web, pengalihan adalah produk sampingan alami, mengarahkan pengunjung dari satu halaman ke halaman yang lebih baru atau lebih relevan. Tetapi meskipun hal itu umum di sebagian besar situs, jika Anda salah menanganinya, Anda dapat secara tidak sengaja menyabotase pengindeksan Anda sendiri.

Ada beberapa kesalahan yang dapat Anda lakukan saat membuat pengalihan, tetapi salah satu yang paling umum adalah rantai pengalihan. Ini terjadi ketika ada lebih dari satu pengalihan antara tautan yang diklik dan tujuan. Google tidak melihat ini sebagai sinyal positif.

Dalam kasus yang lebih ekstrim, Anda dapat memulai loop pengalihan, di mana halaman dialihkan ke halaman lain, yang mengarahkan ke halaman lain, dan seterusnya, sampai akhirnya menautkan kembali ke halaman pertama. Dengan kata lain, Anda telah membuat lingkaran tanpa akhir yang tidak mengarah ke mana-mana.

Periksa pengalihan situs Anda menggunakan Screaming Frog, Redirect-Checker.org atau alat serupa.

9. Perbaiki Tautan Rusak

Dalam nada yang sama, tautan yang rusak dapat merusak kemampuan perayapan situs Anda. Anda harus secara teratur memeriksa situs Anda untuk memastikan Anda tidak memiliki tautan yang rusak, karena ini tidak hanya akan merusak hasil SEO Anda, tetapi juga akan membuat frustrasi pengguna manusia.

Ada beberapa cara Anda dapat menemukan tautan yang rusak di situs Anda, termasuk mengevaluasi secara manual setiap tautan di situs Anda (header, footer, navigasi, dalam teks, dll.), atau Anda dapat menggunakan Google Search Console, Analytics, atau Screaming Frog untuk menemukan 404 kesalahan.

Setelah Anda menemukan tautan yang rusak, Anda memiliki tiga opsi untuk memperbaikinya: mengalihkannya (lihat bagian di atas untuk peringatan), memperbaruinya, atau menghapusnya.

10. Indeks Sekarang

IndexNow adalah protokol yang relatif baru yang memungkinkan URL dikirimkan secara bersamaan antara mesin pencari melalui API. Ini bekerja seperti versi super-charge dari mengirimkan peta situs XML dengan mengingatkan mesin pencari tentang URL baru dan perubahan ke situs web Anda.

Pada dasarnya, apa yang dilakukannya adalah memberi crawler peta jalan ke situs Anda di awal. Mereka memasuki situs Anda dengan informasi yang mereka butuhkan, jadi tidak perlu terus-menerus memeriksa ulang peta situs. Dan tidak seperti peta situs XML, ini memungkinkan Anda untuk memberi tahu mesin pencari tentang halaman kode status non-200.

Menerapkannya mudah, dan hanya mengharuskan Anda membuat kunci API, menghostingnya di direktori Anda atau lokasi lain, dan mengirimkan URL Anda dalam format yang disarankan.

Membungkus

Sekarang, Anda seharusnya sudah memiliki pemahaman yang baik tentang kemampuan indeks dan kemampuan perayapan situs web Anda. Anda juga harus memahami betapa pentingnya kedua faktor ini untuk peringkat pencarian Anda.

Jika spider Google dapat merayapi dan mengindeks situs Anda, tidak peduli berapa banyak kata kunci, tautan balik, dan tag yang Anda gunakan – Anda tidak akan muncul di hasil pencarian.

Dan itulah mengapa penting untuk secara teratur memeriksa situs Anda untuk apa pun yang dapat menghalangi, menyesatkan, atau menyesatkan bot.

Jadi, dapatkan satu set alat yang bagus dan mulailah. Rajin dan perhatikan detailnya, dan Anda akan segera mendapati laba-laba Google mengerumuni situs Anda seperti laba-laba.

Lebih Banyak Sumber Daya:

• 11 Tips & Trik SEO Untuk Meningkatkan Indeksasi Pencarian
• Bagaimana Mesin Pencari Merangkak & Mengindeks: Semua yang Perlu Anda Ketahui
• Cara Melakukan Audit SEO: Daftar Periksa Utama

Gambar Unggulan: Roman Samborskyi/Shutterstock