Panduan pemula untuk perayapan web

Baik Anda pemilik situs web atau profesional SEO, penting untuk memahami perayapan situs web, bagaimana mesin telusur merayapi situs web dan halaman web, dan bagaimana peringkat (atau memutuskan untuk tidak memberi peringkat) halaman untuk permintaan pencarian tertentu.

Perayapan situs web adalah proses teknis dan, sejujurnya, Anda tidak perlu memahami aspek teknis di baliknya. Hanya memahami konsep utama dan apa yang dapat Anda lakukan untuk memfasilitasi perayapan situs web untuk mesin telusur seperti Google dapat membantu Anda membuat situs web Anda lebih ramah mesin telusur, mengikuti praktik SEO terbaik, dan peringkat lebih tinggi di halaman hasil mesin telusur (SERP).

Pada postingan kali ini kita akan membahas :

• Apa itu perayapan situs web?
• Berbagai jenis perayapan situs web
• Seperti apa masa depan perayapan situs web pada tahun 2022 dan seterusnya
• Bagaimana Anda dapat memfasilitasi perayapan situs web untuk Google

Mari kita ambil dari atas.

Apa itu perayapan web?

Sebelum kita melompat lebih jauh ke dalam ini, penting untuk memahami apa itu perayapan web.

Perayapan mengacu pada proses di mana mesin pencari menemukan konten baru dan yang diperbarui di internet. Mesin pencari melakukan ini dengan mengirimkan crawler (juga dikenal sebagai robot, bot, atau spider).

Bot ini "merangkak" internet untuk melihat apakah ada halaman baru yang dapat mereka indeks di SERP. Demikian pula, bot ini juga mencari halaman yang baru saja diperbarui dengan konten baru.

Jenis "konten" dapat bervariasi — dari halaman web hingga gambar, video, hingga PDF.

Keterbatasan yang dihadapi oleh perayap web

Seperti yang dapat Anda bayangkan, adalah pekerjaan yang sulit untuk mengambil setiap halaman web di internet dan menjelajahinya untuk konten baru. Itu karena banyaknya halaman web di internet. Selain itu, jutaan halaman baru muncul di web setiap hari.

Ini membutuhkan banyak sumber daya komputasi, yang dapat menyebabkan masalah keberlanjutan. Kami akan membicarakan lebih lanjut tentang ini nanti di artikel ini, apa artinya ini bagi masa depan perayapan web, dan dampak potensial dari pembatasan ini pada webmaster dan profesional SEO.

Untuk saat ini, Anda harus memahami bagaimana perayap atau laba-laba ini mencoba mengatasi masalah ini dengan menjadi lebih efisien dan bagaimana Anda dapat memanfaatkannya untuk keuntungan Anda.

Laba-laba perayapan biasanya mengambil beberapa halaman web dan merayapinya. Kemudian mereka mengikuti tautan (tautan internal dan tautan eksternal) di halaman web tersebut untuk menemukan URL baru untuk dirayapi dan diindeks. Ini membantu perayap menjadi lebih efisien dalam membangun basis data URL yang sangat besar.

Dan itulah mengapa menambahkan tautan ke halaman di halaman web Anda — terutama tautan internal yang relevan secara kontekstual ke halaman lain adalah praktik SEO yang disarankan.

Dua jenis perayapan web

Menurut Google, ada dua jenis perayapan web:

1. Penemuan
2. Menyegarkan

“Dalam hal perayapan, kami memiliki dua jenis perayapan. Salah satunya adalah penjelajahan penemuan di mana kami mencoba menemukan halaman baru di situs web Anda. Dan yang lainnya adalah perayapan penyegaran di mana kami memperbarui halaman yang ada yang kami ketahui,” kata John Mueller dari Google.

Frekuensi perayapan — selain dari jenis perayapan — juga bergantung pada seberapa sering konten diperbarui di situs web atau halaman web Anda. Misalnya, jika beranda situs web Anda diperbarui lebih teratur daripada halaman lain, Anda mungkin akan melihat lebih banyak aktivitas perayapan di halaman itu.

Dan seperti yang telah kami jelaskan sebelumnya, crawl spider juga akan menemukan tautan di halaman beranda dan merayapi halaman yang mereka temukan dengan tautan tersebut.

Jadi, perayapan penyegaran (untuk beranda, untuk memeriksa apakah ada konten baru) juga dapat menyebabkan perayapan penemuan jika tautan ke halaman baru ditemukan di sana.

Satu hal terakhir yang perlu dipahami tentang hal ini adalah bahwa Googlebot mampu mengenali pola untuk menyesuaikan perayapan penyegarannya.

John Mueller dari Google menjelaskan hal ini dengan contoh berikut:

“Misalnya, jika Anda memiliki situs web berita dan Anda memperbaruinya setiap jam, maka kita harus belajar bahwa kita perlu merayapinya setiap jam. Sedangkan jika itu adalah situs berita yang update sebulan sekali, maka kita harus belajar bahwa kita tidak perlu merangkak setiap jam.

Dan itu bukan tanda kualitas, atau tanda peringkat, atau semacamnya. Ini benar-benar murni dari sudut pandang teknis yang telah kami pelajari bahwa kami dapat merayapi ini sekali sehari, seminggu sekali, dan tidak apa-apa.”

Google melakukan ini untuk menghemat sumber daya perayapan. Seperti yang kami sebutkan sebelumnya, perayapan adalah pekerjaan yang sulit dan dapat menghabiskan banyak sumber daya komputasi dari hari ke hari. Itu tidak terlalu berkelanjutan, terutama karena Internet terus berkembang.

Ini mengarah ke poin kami berikutnya.

Masa depan perayapan web pada tahun 2022 dan seterusnya

Dalam episode terbaru podcast Search Off the Records, tim Search Relations Google mengisyaratkan bahwa Google mungkin mengurangi tingkat perayapan web untuk menghemat sumber daya komputasi dan mempromosikan keberlanjutan.

“Komputasi, secara umum, tidak benar-benar berkelanjutan. Kami bebas karbon sejak, saya bahkan tidak tahu, tahun 2007 atau semacamnya, tetapi itu tidak berarti bahwa kami tidak dapat mengurangi lebih banyak lagi jejak kami di lingkungan. Dan merangkak adalah salah satu hal yang sejak awal, kita bisa memotong beberapa buah yang menggantung rendah,” kata Gary Illyes dari Google.

Dia lebih lanjut menguraikan bagaimana Google dapat mencapai tujuan keberlanjutan ini dengan mengurangi kecepatan perayapan penyegaran.

“Satu hal yang kami lakukan, dan kami mungkin tidak perlu melakukan sebanyak itu, adalah perayapan penyegaran. Artinya, begitu kami menemukan dokumen, URL, lalu kami pergi, kami merayapinya, dan akhirnya, kami akan kembali dan mengunjungi kembali URL itu. Itu adalah perayapan penyegaran.

Dan kemudian setiap kali kita kembali ke satu URL itu, itu akan selalu menjadi perayapan penyegaran. Sekarang, seberapa sering kita perlu kembali ke URL itu?”

Apa arti penurunan tingkat perayapan bagi pemilik situs web dan SEO?

Penurunan tingkat perayapan untuk perayapan penyegaran kemungkinan akan memperlambat pengindeksan dan pembaruan peringkat untuk halaman web yang diperbarui. Namun, itu tidak berarti peringkat mesin pencari yang lebih buruk.

Gary Illyes mengkonfirmasi selama podcast bahwa "adalah kesalahpahaman" untuk berpikir "jika sebuah halaman dirayapi lebih banyak, itu akan mendapatkan peringkat lebih banyak."

7 tips tentang cara meningkatkan perayapan di situs web Anda

Sekarang setelah Anda mengetahui apa itu perayapan web dan masa depan perayapan web, mari kita lihat secara singkat beberapa kiat yang dapat Anda gunakan untuk meningkatkan perayapan di situs web Anda.

1. Perbarui konten Anda sesering mungkin. Jika Anda memublikasikan satu postingan per minggu — tanpa pembaruan konten lain di situs web Anda — Google akan mengenali polanya dan memperlambat perayapan penyegaran untuk situs web Anda, seperti yang telah kita pelajari sebelumnya.
2. Perbarui Google setelah situs web Anda diperbarui dengan mengirimkan URL untuk pengindeksan ulang di Google Search Console.
3. Buat tautan yang lebih relevan secara kontekstual dari situs web yang dirayapi secara teratur serta laman web yang dirayapi secara teratur di situs Anda.
4. Luangkan waktu dan upaya untuk meningkatkan kecepatan pemuatan situs web Anda. Jika situs web terlalu lambat untuk dimuat, perayap situs web dapat meninggalkan situs Anda.
5. Tambahkan peta situs dan terus perbarui untuk membantu Google dalam perayapan web. Periksa peta situs situs web Anda di sini.
6. Kurangi jumlah halaman yatim piatu di situs web Anda. Halaman yatim piatu adalah halaman-halaman yang tidak memiliki tautan yang mengarah ke sana.
7. Kurangi rantai pengalihan

Kami harap panduan perayapan web pemula ini bermanfaat bagi Anda. Jika Anda memiliki pertanyaan atau komentar, beri tahu kami di bagian komentar di bawah.