Guida del crawler TechSEO360 – Mappe del sito e audit tecnici SEO

Da 10 anni ormai, il crawler che utilizzo per gli audit tecnici del sito web SEO che faccio su Search Engine People è quello che oggigiorno viene chiamato TechSEO360. Una gemma nascosta; conveniente, efficiente (esegue la scansione di qualsiasi sito di qualsiasi dimensione), lungimirante (ad esempio: disponeva del supporto AJAX prima di altri strumenti di crawler di questo tipo). Ho già scritto di questo crawler del sito Web, ma volevo fare un post all-in-one più completo.

TechSEO360 spiegato

TechSEO360 è un crawler SEO tecnico i cui punti salienti sono:

• Software nativo per Windows e Mac.
• Può eseguire la scansione di siti Web di grandi dimensioni immediatamente.
• Configurazione flessibile del crawler per chi ne ha bisogno.
• Utilizza report integrati o personalizzati per analizzare i dati del sito Web raccolti (anche se di solito mi affido all'esportazione di tutti i dati in Excel e all'utilizzo dei suoi potenti filtri, rotazione, formattazione automatica, ecc.).
• Crea mappe del sito XML con immagini, video e hreflang oltre a mappe del sito visive.

Come è strutturata questa guida

Questa guida tratterà tutte le funzionalità SEO più importanti presenti in questo software.

• Utilizzeremo il sito Web demo https://Crawler.TechSEO360.com in tutti i nostri esempi.
• Tutti gli screenshot saranno dalla versione Windows, ma la versione Mac contiene le stesse funzionalità e strumenti.
• Utilizzeremo TechSEO360 nella sua modalità gratuita, che è lo stato in cui è passato al termine della versione di prova gratuita iniziale completamente funzionante 30.
• Utilizzeremo le impostazioni predefinite per la scansione e l'analisi del sito Web, se non diversamente specificato.
• Inizieremo mostrando come configurare il crawl del sito per poi passare a SEO tecnico, report e mappe del sito.

Configurazione e avvio della scansione

La maggior parte dei siti eseguirà correttamente la scansione quando si utilizzano le impostazioni predefinite. Ciò significa che l'unica configurazione richiesta sarà in genere quella di inserire il percorso del sito Web che desideri analizzare, indipendentemente dal fatto che risieda su Internet, server locale o disco locale.

Come facile alternativa alla configurazione manuale, è anche possibile applicare vari "preset rapidi" che configurano le impostazioni sottostanti. Esempi potrebbero essere:

• Sai che vuoi creare una mappa del sito video e vuoi assicurarti di poter generare il meglio possibile.
• Utilizzi un CMS di un sito Web specifico che genera molti URL di contenuto sottile che dovrebbero essere esclusi.

Per coloro che vogliono immergersi nelle impostazioni, puoi affermare un controllo quasi completo del processo di scansione, tra cui:

Motore cingolato

È qui che puoi scherzare con gli interni più profondi di come vengono eseguite le richieste HTTP. Una cosa particolare è come aumentare la velocità di scansione: aumenta semplicemente il numero di thread simultanei e connessioni simultanee, assicurati solo che il tuo computer e il tuo sito Web possano gestire il carico aggiuntivo.

Filtri Webmaster

Controlla fino a che punto il crawler deve obbedire a noindex, nofollow, robots.txt e simili.

Filtri di analisi

Configura le regole per le quali gli URL dovrebbero avere il loro contenuto analizzato. Sono disponibili più opzioni di filtro "escludi" e "limita a", inclusi pattern URL, estensioni di file e tipi MIME.

Filtri di uscita

Simile a "Scansione sito Web | Filtri di analisi" - ma viene invece utilizzato per controllare quali URL vengono "taggati" per la rimozione al termine della scansione di un sito Web.

Gli URL esclusi dalle opzioni presenti in "Scansione sito Web | Filtri webmaster" e "Scansione sito Web | Filtri di output" possono ancora essere mantenuti e visualizzati dopo l'interruzione della scansione del sito Web se l'opzione "Scansione sito Web | Opzioni crawler | Applica filtri webmaster e di output dopo la scansione del sito Web si ferma" è deselezionato. Con questa combinazione tu:

• Ottieni di conservare tutte le informazioni raccolte dal crawler, in modo da poter ispezionare tutto.
• Evita comunque che gli URL vengano inclusi durante la creazione di mappe del sito HTML e XML.
• Ottieni ancora un "tagging" appropriato per quando si eseguono report ed esportazioni.

Progresso della scansione

Durante la scansione del sito web, puoi vedere varie statistiche che mostrano quanti URL hanno analizzato il loro contenuto, quanti hanno avuto i loro collegamenti e riferimenti risolti e quanti URL sono ancora in attesa in coda.

Panoramica del sito Web dopo la scansione

Al termine della scansione del sito, il programma apre una vista con colonne di dati a sinistra:

Se selezioni un URL puoi visualizzare ulteriori dettagli a destra:

Ecco una miniatura di come può apparire su uno schermo a grandezza naturale:

Lato sinistro

Qui troverai gli URL e i dati associati trovati durante la scansione del sito web. Per impostazione predefinita, vengono visualizzate solo alcune delle colonne di dati più importanti. Sopra c'è un pannello composto da cinque pulsanti e una casella di testo. I loro scopi sono:

# 1
Menu a discesa con "rapporti rapidi" predefiniti. Questi possono essere utilizzati per configurare rapidamente:

• Quali colonne di dati sono visibili.
• Quali "opzioni di filtro rapido" sono abilitate.
• Il "testo filtro rapido" attivo per limitare ulteriormente ciò che viene mostrato.

#2
Menu a discesa per passare dalla visualizzazione di tutti gli URL nel sito Web come "elenco" piatto rispetto a un "albero".

#3
Menu a discesa per configurare quali colonne di dati sono visibili.

#4
Rispetto a quanto sopra, l'abilitazione della visibilità della colonna di dati "Reindirizza al percorso" ha il seguente aspetto:

#5
Menu a discesa per configurare quali "opzioni di filtro rapido" sono selezionate.

#6
Pulsante di accensione/spegnimento per attivare/disattivare tutte le funzionalità "filtri rapidi".

#7
Casella contenente il "testo filtro rapido" che viene utilizzato per personalizzare ulteriormente ciò che viene mostrato.

Come utilizzare le funzionalità "rapporti rapidi" e "filtri rapidi" verrà spiegato in seguito con esempi.

Lato destro

Qui è dove puoi vedere ulteriori dettagli dell'URL selezionato sul lato sinistro. Ciò include l'elenco "Collegato da" con dettagli aggiuntivi, l'elenco "Collegamenti [interni]", l'elenco "Utilizzato da", "Riepilogo directory" e altro ancora.

Per capire come utilizzarlo durante l'analisi dei dettagli, confrontare i due scenari seguenti.

# 1
A sinistra abbiamo selezionato l'URL http://crawler.techseo360.com/noindex-follow.html - possiamo anche vedere che il crawler lo ha taggato "[noindex][follow]" nella colonna dei dati "URL flags":

A destra all'interno della scheda "Link [interni]", possiamo confermare che tutti i collegamenti sono stati seguiti inclusi e visualizzare ulteriori dettagli .

#2
A sinistra abbiamo selezionato l'URL http://crawler.techseo360.com/nofollow.html - possiamo anche vedere che il crawler lo ha taggato "[index][nofollow]" nella colonna dei dati "URL flags".:

A destra all'interno della scheda "Link [interni]", possiamo confermare che non sono stati seguiti collegamenti .

Utilizzo di Rapporti rapidi

Come ho detto, non li uso spesso, preferendo Mostra tutte le colonne di dati, quindi esporto in Excel. Ma per coloro che amano questo tipo di rapporti integrati in altri strumenti, ecco alcuni dei rapporti rapidi più utilizzati disponibili:

Tutti i tipi di reindirizzamenti

Il "rapporto rapido" integrato per mostrare tutti i tipi di reindirizzamenti, comprese le informazioni necessarie per seguire le catene di reindirizzamento:

Essenzialmente questo ha:

1. Modificata la visibilità delle colonne di dati in quelle più appropriate.
2. Imposta il testo del filtro su:
   [httpredirect|canonicalredirect|metarefreshredirect] -[noindex] 200 301 302 307
3. Filtri attivati:
   • Only show URLs with all [filter-text] found in "URL state flags" column
   • Only show URLs with any filter-text-number found in "response code" column

Con questo un URL deve soddisfare le tre condizioni seguenti per essere mostrato:

1. Deve puntare a un altro URL tramite reindirizzamento HTTP, istruzione canonica o meta refresh "0 secondi".
2. Non può contenere un'istruzione "noindex".
3. Deve avere il codice di risposta 200, 301, 302 o 307.

404 non trovato

Se è necessario identificare rapidamente collegamenti interrotti e riferimenti URL, questo rapporto è una buona scelta. In questo modo vengono rese visibili le colonne di dati "Linked.List" (ad es. variabile "a"), "Used.List" (ad es. attributo "src") e "Redirected.List".

Noindex

Visualizza rapidamente tutte le pagine con l'istruzione "noindex".

Titoli duplicati n. 1

Visualizza rapidamente tutte le pagine con titoli duplicati, comprese quelle con titoli vuoti duplicati.

Titoli duplicati n. 2

Se non viene sovrascritto da altri filtri, il testo del filtro corrisponde al contenuto all'interno di tutte le colonne di dati visibili. Qui abbiamo ristretto il nostro rapporto sui titoli duplicati a quelli che contengono la parola "esempio".

Conteggio caratteri del titolo

Limita gli URL mostrati dal numero di caratteri del titolo. Puoi controllare la soglia e se sopra o sotto. Simile è disponibile per le descrizioni.

Conteggio pixel del titolo

Limita gli URL mostrati dal numero di pixel del titolo. Puoi controllare la soglia e se sopra o sotto. Simile è disponibile per le descrizioni.

Immagini e testo alternativo/ancoraggio mancante

Mostra solo gli URL delle immagini che sono stati utilizzati senza alcun testo alternativo o collegati senza alcun testo di ancoraggio.

Altri strumenti

Analisi in pagina

Per impostazione predefinita, durante la scansione del sito Web viene eseguita un'analisi del testo completa su tutte le pagine. L'opzione trovata per questo risiede in "Scansione sito web | Raccolta dati" che fornisce risultati come questi:

Tuttavia, puoi sempre analizzare anche singole pagine senza eseguire la scansione dell'intero sito Web:

Nota che puoi vedere quali parole chiave e frasi sono mirate su un intero sito web se utilizzi il pulsante "somma i punteggi per le pagine selezionate".

Elenchi di parole chiave

Un generatore di elenchi di parole chiave flessibile che consente di combinare elenchi di parole chiave ed eseguire una pulizia completa.

Strumenti online di terze parti

Se hai bisogno di più strumenti, puoi aggiungerli tu stesso e persino decidere quali dovrebbero essere accessibili dalle schede anziché solo dal menu a discesa.

Il software trasmetterà automaticamente l'URL selezionato o simile allo strumento online selezionato. Ogni strumento online è configurato da un file di testo che definisce quali dati vengono passati e come viene fatto.

Mappe del sito

Tipi di file della mappa del sito

Con 13 formati di file della mappa del sito distinti, è probabile che le tue esigenze siano soddisfatte. Ciò include sitemap XML, sitemap video e sitemap di immagini.

Sitemap XML e Hreflang

Anche se il tuo sito Web non include markup hreflang, TechSEO360 sarà spesso in grado di generare mappe del sito XML con informazioni hreflang alternative appropriate se i tuoi URL contengono parti che includono un riferimento alla lingua-cultura o al paese.

Sitemap di immagini e video XML

Di solito puoi velocizzare la tua configurazione utilizzando uno dei "Preset rapidi":

• Mappa del sito video di Google
• Mappa del sito video di Google (il sito web ha video ospitati esternamente)
• Mappa del sito di immagini di Google
• Mappa del sito di immagini di Google (il sito Web ha immagini ospitate esternamente)

Se intendi creare sitemap sia di immagini che di video, utilizza una delle scelte video poiché includono anche tutta la configurazione ottimale per le sitemap di immagini.

TechSEO360 utilizza metodi diversi per calcolare quali pagine, video e immagini appartengono insieme nelle mappe del sito XML generate, cosa che può essere complicata se un'immagine o un video viene utilizzato in più luoghi.

Sitemap HTML

Seleziona dai modelli HTML integrati o creane uno personalizzato, incluso il codice HTML/CSS/JS effettivo e varie opzioni utilizzate durante la creazione delle mappe del sito.

Altre funzionalità

Supporto Javascript e AJAX

È possibile configurare TechSEO360 per cercare nel codice Javascript i riferimenti a file e URL selezionando l'opzione "Scansione sito Web | Opzioni crawler | Prova a cercare in Javascript".

Se hai a che fare con un sito Web AJAX, puoi passare a una soluzione abilitata AJAX in "Scansione sito Web | Motore crawler | Tipo di percorso e gestore predefiniti".

Testo personalizzato e ricerca codice

Spesso può essere utile cercare testo e codice in un intero sito Web, ad esempio per trovare pagine utilizzando il vecchio codice di Google Analytics o simili.

È possibile configurare più ricerche in "Scansione sito Web | Raccolta dati" | Cerca stringhe personalizzate, codici e modelli di testo".

I risultati vengono mostrati nella colonna di dati "Ricerche personalizzate nella pagina" che mostra un conteggio per ogni ricerca, facoltativamente con il contenuto estratto dalla corrispondenza del modello.

Punteggio di importanza calcolato

TechSEO360 calcola l'importanza di tutte le pagine in base ai collegamenti interni e ai reindirizzamenti interni.

Puoi vederlo abilitando la visibilità della colonna di dati "Punteggio di importanza ridimensionato".

Rilevamento di contenuti simili

A volte le pagine sono duplicati simili ma non esatti. Per trovarli, è possibile abilitare l'opzione "Scansione sito Web | Raccolta dati | Monitoraggio e archiviazione di dati estesi | Esegui analisi delle parole chiave per tutte le pagine" prima della scansione.

Durante la visualizzazione dei risultati, abilita la visibilità della colonna di dati "Contenuto della pagina duplicati (vista visiva)" e otterrai una rappresentazione grafica del contenuto.

Interfaccia a riga di comando (CLI)

Se stai utilizzando la versione di prova o a pagamento, puoi utilizzare la riga di comando - ecco un esempio:
"techseo.exe" -exit -scan -build ":my-project.ini" @override_rootpath=http://example.com@
Quanto sopra passa un file di progetto con tutte le opzioni definite, sovrascrive il dominio del sito Web e indica a TechSEO360 di eseguire una scansione completa, creare mappe del sito ed uscire.

Importazione di dati

La funzionalità "File | Importa..." funziona in modo intelligente e può essere utilizzata per:

• Importa elenchi di URL. Se gli URL importati provengono da domini misti, TechSEO360 determinerà se esiste un dominio principale e importerà in modo appropriato nelle schede "Interno" ed "Esterno".
• TechSEO360 può anche rilevare varie altre origini dati quale contenuto verrà invece aggiunto ai dati esistenti:
  • Il server Apache si registra per "taggare" gli URL visitati da GoogleBot "[googlebot]" e rileva gli URL non collegati/utilizzati internamente "[orphan]".
  • Strumenti per i Webmaster di Google esporta in URL "tag" indicizzati da Google "[googleindexed]" e dati per clic e impressioni.
  • Esportazioni CSV maestose per i dati sui punteggi dei backlink.

  Il "[...]" di cui sopra può essere utilizzato dal "testo filtri rapidi" per generare ulteriori report personalizzati.

Esportazione di dati

La funzionalità "File | Esporta..." può esportare dati in CSV, Excel, HTML e altro a seconda di ciò che stai esportando. Usare:

• Seleziona il controllo con i dati che desideri esportare.
• Applica le opzioni in modo che il controllo contenga solo i dati che desideri esportare. (Questo può includere, ad esempio, "colonne di dati", "opzioni di filtro rapido" e "testo di filtro rapido")
• Fai clic sul pulsante "Esporta" e ora hai i dati che desideri nel formato desiderato.

Prezzo TechSEO360

Esistono essenzialmente tre stati diversi:

1. Quando scarichi il software per la prima volta, ottieni una prova gratuita di 30 giorni completamente funzionante.
2. Quando la versione di prova scade, continua a funzionare in modalità gratuita che consente di eseguire la scansione di 500 pagine nei siti Web.
3. Al momento dell'acquisto, il prezzo dell'abbonamento annuale è di $ 99 per una licenza per utente singolo che può essere utilizzata sia su Windows che su Mac.

È possibile scaricare la versione di prova per Windows e Mac all'indirizzo https://TechSEO360.com .