Panduan Perayap TechSEO360 – Peta Situs dan Audit Teknis SEO

Selama 10 tahun sekarang, perayap yang saya gunakan untuk audit situs web SEO teknis yang saya lakukan di Search Engine People adalah yang sekarang disebut TechSEO360. Permata tersembunyi; hemat biaya, efisien (merangkak situs apa pun dengan ukuran berapa pun), berwawasan ke depan (misalnya: memiliki dukungan AJAX sebelum alat perayap lain melakukannya). Saya telah menulis tentang perayap situs web ini sebelumnya tetapi ingin melakukan posting lengkap yang lebih komprehensif.

TechSEO360 Dijelaskan

TechSEO360 adalah perayap SEO teknis dengan sorotan:

• Perangkat lunak asli untuk Windows dan Mac.
• Dapat merayapi situs web yang sangat besar secara langsung.
• Konfigurasi crawler yang fleksibel bagi mereka yang membutuhkannya.
• Gunakan laporan bawaan atau khusus untuk menganalisis data situs web yang dikumpulkan (walaupun saya biasanya mengandalkan mengekspor semua data ke Excel dan menggunakan filternya yang kuat, pivot, pemformatan otomatis, dll.).
• Buat peta situs XML gambar, video, dan hreflang selain peta situs visual.

Bagaimana Panduan Ini Terstruktur

Panduan ini akan mencakup semua fungsi SEO paling penting yang ditemukan dalam perangkat lunak ini.

• Kami akan menggunakan situs web demo https://Crawler.TechSEO360.com dalam semua contoh kami.
• Semua tangkapan layar akan berasal dari versi Windows – tetapi versi Mac berisi fitur dan alat yang sama.
• Kami akan menggunakan TechSEO360 dalam mode bebasnya yang merupakan status beralih ke saat uji coba 30 gratis yang berfungsi penuh awal berakhir.
• Kami akan menggunakan pengaturan default untuk perayapan dan analisis situs web kecuali dinyatakan lain.
• Kami akan mulai dengan menunjukkan cara mengonfigurasi perayapan situs dan kemudian beralih ke SEO teknis, laporan, dan peta situs.

Mengonfigurasi dan Memulai Perayapan

Sebagian besar situs akan merangkak dengan baik saat menggunakan pengaturan default. Ini berarti satu-satunya konfigurasi yang diperlukan biasanya adalah memasukkan jalur situs web yang ingin Anda analisis - apakah itu berada di internet, server lokal, atau disk lokal.

Sebagai alternatif mudah untuk konfigurasi manual, juga dimungkinkan untuk menerapkan berbagai "preset cepat" yang mengonfigurasi pengaturan yang mendasarinya. Contohnya bisa berupa:

• Anda tahu bahwa Anda ingin membuat peta situs video dan ingin memastikan bahwa Anda dapat menghasilkan yang terbaik.
• Anda menggunakan CMS situs web tertentu yang menghasilkan banyak URL konten tipis yang harus dikecualikan.

Bagi mereka yang ingin menyelami pengaturan, Anda dapat menegaskan kontrol hampir lengkap dari proses perayapan termasuk:

Mesin Perayap

Di sinilah Anda dapat bermain-main dengan internal yang lebih dalam tentang bagaimana permintaan HTTP dilakukan. Satu hal khusus adalah bagaimana Anda dapat meningkatkan kecepatan perayapan: Cukup tingkatkan jumlah utas simultan dan koneksi simultan - pastikan komputer dan situs web Anda dapat menangani beban tambahan.

Filter Webmaster

Kontrol sejauh mana crawler harus mematuhi noindex, nofollow, robots.txt, dan sejenisnya.

Filter Analisis

Konfigurasikan aturan untuk URL mana kontennya harus dianalisis. Ada beberapa opsi pemfilteran "kecualikan" dan "batas ke" yang tersedia termasuk pola URL, ekstensi file, dan jenis MIME.

Filter Keluaran

Mirip dengan "Pindai situs web | Filter analisis" - tetapi digunakan untuk mengontrol URL mana yang "ditandai" untuk dihapus saat perayapan situs web selesai.

URL dikecualikan oleh opsi yang ditemukan di "Pindai situs web | Filter webmaster" dan "Pindai situs web | Filter keluaran" masih dapat disimpan dan ditampilkan setelah perayapan situs web berhenti jika opsi "Pindai situs web | Opsi perayap | Terapkan webmaster dan filter keluaran setelah pemindaian situs web berhenti" tidak dicentang. Dengan kombinasi ini Anda:

• Dapatkan untuk menyimpan semua informasi yang dikumpulkan oleh perayap, sehingga Anda dapat memeriksa semuanya.
• Tetap hindari URL yang disertakan saat membuat peta situs HTML dan XML.
• Masih mendapatkan "penandaan" yang tepat saat melakukan laporan dan ekspor.

Kemajuan Perayapan

Selama penjelajahan situs web, Anda dapat melihat berbagai statistik yang menunjukkan berapa banyak URL yang telah dianalisis kontennya, berapa banyak yang tautan dan referensinya telah diselesaikan, dan berapa banyak URL yang masih menunggu dalam antrean.

Ikhtisar Situs Web Setelah Perayapan

Setelah penjelajahan situs selesai, program membuka tampilan dengan kolom data di sebelah kiri:

Jika Anda memilih URL, Anda dapat melihat detail lebih lanjut di sebelah kanan:

Berikut adalah gambar mini tentang tampilannya di layar berukuran penuh:

Sisi kiri

Di sini Anda akan menemukan URL dan data terkait yang ditemukan selama pemindaian situs web. Secara default, hanya beberapa kolom data terpenting yang ditampilkan. Di atas ini ada panel yang terdiri dari lima tombol dan kotak teks. Tujuan mereka adalah:

#1
Dropdown dengan "laporan cepat" yang telah ditentukan sebelumnya. Ini dapat digunakan untuk mengkonfigurasi dengan cepat:

• Kolom data mana yang terlihat.
• "Opsi filter cepat" mana yang diaktifkan.
• "Teks filter cepat" aktif untuk lebih membatasi apa yang ditampilkan.

#2
Dropdown untuk beralih antara menampilkan semua URL di situs web sebagai "daftar" datar versus sebagai "pohon".

#3
Dropdown untuk mengonfigurasi kolom data mana yang terlihat.

#4
Dibandingkan dengan di atas, mengaktifkan visibilitas kolom data "Pengalihan ke jalur" terlihat seperti ini:

#5
Dropdown untuk mengonfigurasi "opsi filter cepat" mana yang dipilih.

#6
Tombol on/off untuk mengaktifkan/menonaktifkan semua fungsi "filter cepat".

#7
Kotak yang berisi "teks filter cepat" yang digunakan untuk menyesuaikan lebih lanjut apa yang ditampilkan.

Cara menggunakan fungsionalitas "laporan cepat" dan "filter cepat" akan dijelaskan nanti dengan contoh.

Sisi Kanan

Di sinilah Anda dapat melihat detail tambahan dari URL yang dipilih di sisi kiri. Ini termasuk daftar "Ditautkan oleh" dengan detail tambahan, daftar "Tautan [internal]", daftar "Digunakan oleh", "Ringkasan direktori" dan banyak lagi.

Untuk memahami cara menggunakan ini saat menyelidiki detail, bandingkan dua skenario berikut.

#1
Di sebelah kiri kami telah memilih URL http://crawler.techseo360.com/noindex-follow.html - kami juga dapat melihat crawler telah menandainya "[noindex][follow]" di kolom data "URL flags":

Di sebelah kanan di dalam tab "Tautan [internal]", kami dapat mengonfirmasi bahwa semua tautan telah diikuti termasuk dan melihat detail tambahan .

#2
Di sebelah kiri kami telah memilih URL http://crawler.techseo360.com/nofollow.html - kami juga dapat melihat crawler telah menandainya "[index][nofollow]" di kolom data "URL flags".:

Di sebelah kanan di dalam tab "Tautan [internal]", kami dapat mengonfirmasi bahwa tidak ada tautan yang diikuti.

Menggunakan Laporan Cepat

Seperti yang saya katakan, saya tidak sering menggunakan ini, lebih memilih untuk Menampilkan Semua Kolom Data, dan kemudian mengekspor ke Excel. Tetapi bagi mereka yang menyukai laporan matang semacam ini di alat lain, berikut adalah beberapa laporan cepat yang paling sering digunakan yang tersedia:

Semua Jenis Pengalihan

"Laporan cepat" bawaan untuk menampilkan semua jenis pengalihan termasuk informasi yang diperlukan untuk mengikuti rantai pengalihan:

Pada dasarnya ini memiliki:

1. Mengubah visibilitas kolom data menjadi yang paling sesuai.
2. Setel teks filter ke:
   [httpredirect|canonicalredirect|metarefreshredirect] -[noindex] 200 301 302 307
3. Filter yang diaktifkan:
   • Only show URLs with all [filter-text] found in "URL state flags" column
   • Only show URLs with any filter-text-number found in "response code" column

Dengan ini URL harus memenuhi tiga kondisi berikut untuk ditampilkan:

1. Harus menunjuk ke URL lain dengan pengalihan HTTP, instruksi kanonik, atau penyegaran meta "0 detik".
2. Tidak boleh berisi instruksi "noindex".
3. Harus memiliki kode respons 200, 301, 302 atau 307.

404 tidak ditemukan

Jika Anda perlu mengidentifikasi tautan rusak dan referensi URL dengan cepat, laporan ini adalah pilihan yang baik. Dengan ini, kolom data "Linked.List" (misalnya tag "a"), "Used.List" (misalnya atribut "src") dan "Redirected.List" menjadi terlihat.

indeks no

Lihat semua halaman dengan cepat dengan instruksi "noindex".

Judul Duplikat #1

Lihat dengan cepat semua halaman dengan judul duplikat termasuk halaman dengan duplikat judul kosong.

Judul Duplikat #2

Jika tidak diganti oleh filter lain, filter teks cocok dengan konten di dalam semua kolom data yang terlihat. Di sini kami telah mempersempit laporan judul duplikat kami menjadi yang mengandung kata "contoh".

Jumlah Karakter Judul

Batasi URL yang ditampilkan berdasarkan jumlah karakter judul. Anda dapat mengontrol ambang batas dan jika di atas atau di bawah. Mirip tersedia untuk deskripsi.

Jumlah Piksel Judul

Batasi URL yang ditampilkan berdasarkan jumlah piksel judul. Anda dapat mengontrol ambang batas dan jika di atas atau di bawah. Mirip tersedia untuk deskripsi.

Gambar dan Teks Alt / Anchor yang Hilang

Hanya tampilkan URL gambar yang digunakan tanpa teks alternatif atau ditautkan tanpa teks jangkar.

Alat lainnya

Analisis di halaman

Secara default ada analisis teks komprehensif yang dilakukan pada semua halaman selama perayapan situs web. Opsi yang ditemukan untuk ini berada di "Pindai situs web | Pengumpulan data" yang memberikan hasil seperti ini:

Namun, Anda juga selalu dapat menganalisis satu halaman tanpa merayapi seluruh situs web:

Perhatikan bahwa Anda dapat melihat kata kunci dan frasa mana yang ditargetkan di seluruh situs web jika Anda menggunakan tombol "jumlah skor untuk halaman yang dipilih".

Daftar Kata Kunci

Pembuat daftar kata kunci fleksibel yang memungkinkan untuk menggabungkan daftar kata kunci dan melakukan pembersihan menyeluruh.

Alat Online Pihak Ketiga

Jika Anda membutuhkan lebih banyak alat, Anda dapat menambahkannya sendiri dan bahkan memutuskan mana yang harus dapat diakses dengan tab, bukan hanya dengan drop-down.

Perangkat lunak akan secara otomatis meneruskan URL yang dipilih atau serupa dengan alat online yang dipilih. Setiap alat online dikonfigurasi oleh file teks yang mendefinisikan data mana yang diteruskan dan bagaimana hal itu dilakukan.

Peta Situs

Jenis File Peta Situs

Dengan 13 format file peta situs yang berbeda, kemungkinan kebutuhan Anda terpenuhi. Ini termasuk peta situs XML, peta situs video, dan peta situs gambar.

Peta Situs XML dan Hreflang

Bahkan jika situs web Anda tidak menyertakan markup hreflang apa pun, TechSEO360 akan sering kali dapat membuat peta situs XML dengan informasi hreflang alternatif yang sesuai jika URL Anda berisi bagian yang menyertakan referensi ke budaya bahasa atau negara.

Peta Situs Gambar dan Video XML

Anda biasanya dapat mempercepat konfigurasi Anda dengan menggunakan salah satu "Preset cepat":

• Peta situs video Google
• Peta situs video Google (situs web memiliki video yang dihosting secara eksternal)
• Peta situs gambar Google
• Peta situs gambar Google (situs web memiliki gambar yang dihosting secara eksternal)

Jika Anda ingin membuat peta situs gambar dan video, gunakan salah satu pilihan video karena mereka juga menyertakan semua konfigurasi yang optimal untuk peta situs gambar.

TechSEO360 menggunakan metode berbeda untuk menghitung halaman, video, dan gambar mana yang termasuk dalam peta situs XML yang dihasilkan - sesuatu yang bisa rumit jika gambar atau video digunakan di banyak tempat.

Peta Situs HTML

Pilih dari templat HTML bawaan atau rancang sendiri termasuk kode HTML/CSS/JS aktual dan berbagai opsi yang digunakan saat membuat peta situs.

Fungsionalitas lainnya

Dukungan Javascript dan AJAX

Anda dapat mengonfigurasi TechSEO360 untuk mencari kode Javascript untuk file dan referensi URL dengan mencentang opsi "Pindai situs web | Opsi perayap | Coba cari di dalam Javascript".

Jika Anda berurusan dengan situs web AJAX, Anda dapat beralih ke solusi berkemampuan AJAX di "Pindai situs web | Mesin perayap | Jenis dan penangan jalur default".

Teks Kustom dan Pencarian Kode

Sering kali berguna untuk menelusuri teks dan kode di seluruh situs web - misalnya untuk menemukan laman menggunakan kode Google Analytics lama atau yang serupa.

Anda dapat mengonfigurasi beberapa pencarian di "Pindai situs web | Pengumpulan Data" | Cari string kustom, kode dan pola teks".

Hasilnya ditampilkan di kolom data "Pencarian khusus halaman" yang menunjukkan hitungan untuk setiap pencarian - opsional dengan konten yang diekstraksi dari pencocokan pola.

Skor Penting Terhitung

TechSEO360 menghitung pentingnya semua halaman berdasarkan tautan internal dan pengalihan internal.

Anda dapat melihat ini dengan mengaktifkan visibilitas kolom data "Peningkatan skor penting".

Deteksi Konten Serupa

Terkadang halaman serupa tetapi bukan duplikat yang sama persis. Untuk menemukannya, Anda dapat mengaktifkan opsi "Pindai situs web | Pengumpulan Data | Pelacakan dan penyimpanan data yang diperluas | Lakukan analisis kata kunci untuk semua halaman" sebelum memindai.

Saat melihat hasil, aktifkan visibilitas kolom data "Duplikat konten halaman (tampilan visual)" dan Anda akan mendapatkan representasi grafis dari konten tersebut.

Antarmuka Baris Perintah (CLI)

Jika Anda menggunakan versi uji coba atau berbayar, Anda dapat menggunakan baris perintah - berikut contohnya:
"techseo.exe" -exit -scan -build ":my-project.ini" @override_rootpath=http://example.com@
Di atas melewati file proyek dengan semua opsi yang ditentukan, menimpa domain situs web dan menginstruksikan TechSEO360 untuk menjalankan perayapan lengkap, pembuatan peta situs, dan keluar.

Mengimpor Data

Fungsionalitas "File | Impor..." bekerja dengan cerdas dan dapat digunakan untuk:

• Impor daftar URL. Jika URL yang diimpor berasal dari domain campuran, TechSEO360 akan menentukan apakah ada domain utama dan mengimpor dengan tepat ke tab "Internal" dan "Eksternal".
• TechSEO360 juga dapat mendeteksi berbagai sumber data lain yang kontennya akan ditambahkan ke data yang ada:
  • Server Apache mencatat ke "tag" URL yang dikunjungi oleh GoogleBot "[googlebot]" dan mendeteksi URL yang tidak ditautkan secara internal/digunakan "[orphan]".
  • Alat Webmaster Google mengekspor ke "tag" URL yang diindeks oleh Google "[googleindexed]" dan data untuk klik dan tayangan.
  • Ekspor CSV yang luar biasa untuk data skor backlink.

  "[...]" di atas dapat digunakan oleh "teks filter cepat" untuk menghasilkan laporan khusus lebih lanjut.

Mengekspor Data

Fungsionalitas "File | Ekspor..." dapat mengekspor data ke CSV, Excel, HTML, dan lainnya bergantung pada apa yang Anda ekspor. Menggunakan:

• Pilih kontrol dengan data yang ingin Anda ekspor.
• Terapkan opsi sehingga kontrol hanya berisi data yang ingin Anda ekspor. (Misalnya, ini dapat menyertakan "kolom data", "opsi filter cepat" dan "teks filter cepat")
• Klik tombol "Ekspor" dan Anda sekarang memiliki data yang Anda inginkan dalam format yang Anda inginkan.

Harga TechSEO360

Pada dasarnya ada tiga negara bagian yang berbeda:

1. Saat pertama kali mengunduh perangkat lunak, Anda mendapatkan uji coba gratis 30 hari yang berfungsi penuh.
2. Saat uji coba berakhir, ia masih terus berfungsi dalam mode bebas yang memungkinkan untuk merayapi 500 halaman di situs web.
3. Saat membeli, harga langganan tahunan adalah $99 untuk satu lisensi pengguna yang dapat digunakan di Windows dan Mac.

Anda dapat mengunduh uji coba untuk Windows dan Mac di https://TechSEO360.com .