TechSEO360 Crawler Guide – Sitemaps et audits SEO techniques

Depuis 10 ans maintenant, le crawler que j'utilise pour les audits techniques SEO de sites que je fais chez Search Engine People est ce qu'on appelle aujourd'hui TechSEO360. Un joyau caché; rentable, efficace (explore n'importe quel site de n'importe quelle taille), tourné vers l'avenir (par exemple : avait le support AJAX avant d'autres outils de recherche de ce type). J'ai déjà écrit sur ce robot d'exploration de site Web, mais je voulais faire un article tout-en-un plus complet.

TechSEO360 expliqué

TechSEO360 est un robot d'exploration SEO technique dont les points forts sont :

• Logiciel natif pour Windows et Mac.
• Peut explorer de très grands sites Web prêts à l'emploi.
• Configuration flexible du crawler pour ceux qui en ont besoin.
• Utilisez des rapports intégrés ou personnalisés pour analyser les données de site Web collectées (bien que je compte généralement sur l'exportation de toutes les données vers Excel et sur l'utilisation de ses puissants filtres, du pivotement, du formatage automatique, etc.).
• Créez des sitemaps image, vidéo et hreflang XML en plus des sitemaps visuels.

Comment ce guide est structuré

Ce guide couvrira toutes les fonctionnalités SEO les plus importantes trouvées dans ce logiciel.

• Nous utiliserons le site Web de démonstration https://Crawler.TechSEO360.com dans tous nos exemples.
• Toutes les captures d'écran proviendront de la version Windows, mais la version Mac contient les mêmes fonctionnalités et outils.
• Nous utiliserons TechSEO360 dans son mode gratuit, qui correspond à l'état dans lequel l'essai initial entièrement fonctionnel de 30 minutes se termine.
• Sauf indication contraire, nous utiliserons les paramètres par défaut pour l'exploration et l'analyse du site Web.
• Nous commencerons par montrer comment configurer le crawl du site, puis passerons au référencement technique, aux rapports et aux sitemaps.

Configurer et démarrer le crawl

La plupart des sites explorent correctement lorsqu'ils utilisent les paramètres par défaut. Cela signifie que la seule configuration requise consiste généralement à saisir le chemin du site Web que vous souhaitez analyser, qu'il réside sur Internet, sur un serveur local ou sur un disque local.

Comme alternative simple à la configuration manuelle, il est également possible d'appliquer divers "préréglages rapides" qui configurent les paramètres sous-jacents. Des exemples pourraient être :

• Vous savez que vous voulez créer un plan de site vidéo et que vous voulez vous assurer que vous pouvez générer le meilleur possible.
• Vous utilisez un CMS de site Web spécifique qui génère de nombreuses URL de contenu léger qui doivent être exclues.

Pour ceux qui souhaitent se plonger dans les paramètres, vous pouvez affirmer un contrôle quasi complet du processus de crawl, notamment :

Moteur de chenille

C'est là que vous pouvez jouer avec les détails internes plus profonds de la façon dont les requêtes HTTP sont exécutées. Une chose en particulier est de savoir comment vous pouvez augmenter la vitesse d'exploration : augmentez simplement le nombre de threads simultanés et de connexions simultanées - assurez-vous simplement que votre ordinateur et votre site Web peuvent gérer la charge supplémentaire.

Filtres pour les webmasters

Contrôlez dans quelle mesure le crawler doit obéir à noindex, nofollow, robots.txt et similaires.

Filtres d'analyse

Configurez les règles pour lesquelles les URL doivent voir leur contenu analysé. Plusieurs options de filtrage "exclure" et "limiter à" sont disponibles, notamment les modèles d'URL, les extensions de fichier et les types MIME.

Filtres de sortie

Semblable à "Analyser le site Web | Filtres d'analyse" - mais est plutôt utilisé pour contrôler quelles URL sont "marquées" pour être supprimées à la fin de l'exploration d'un site Web.

Les URL exclues par les options trouvées dans "Analyser le site Web | Filtres pour les webmasters" et "Analyser le site Web | Filtres de sortie" peuvent toujours être conservées et affichées après l'arrêt de l'exploration du site Web si l'option "Analyser le site Web | Options du robot | Appliquer les filtres de webmaster et de sortie après l'analyse du site Web s'arrête" n'est pas cochée. Avec cette combinaison vous :

• Conservez toutes les informations collectées par le crawler, afin de pouvoir tout inspecter.
• Évitez toujours que les URL soient incluses lors de la création de sitemaps HTML et XML.
• Obtenez toujours un "balisage" approprié lorsque vous effectuez des rapports et des exportations.

Progression de l'exploration

Pendant l'exploration du site Web, vous pouvez voir diverses statistiques indiquant le nombre d'URL dont le contenu a été analysé, le nombre de liens et de références résolus et le nombre d'URL qui attendent toujours dans les files d'attente.

Présentation du site Web après l'exploration

Une fois l'exploration du site terminée, le programme ouvre une vue avec des colonnes de données à gauche :

Si vous sélectionnez une URL, vous pouvez afficher plus de détails à droite :

Voici une vignette de ce à quoi cela peut ressembler sur un écran plein écran :

Côté gauche

Vous trouverez ici les URL et les données associées trouvées lors de l'analyse du site Web. Par défaut, seules quelques-unes des colonnes de données les plus importantes sont affichées. Au-dessus, il y a un panneau composé de cinq boutons et d'une zone de texte. Leurs finalités sont :

#1
Liste déroulante avec des "rapports rapides" prédéfinis. Ceux-ci peuvent être utilisés pour configurer rapidement :

• Quelles colonnes de données sont visibles.
• Quelles "options de filtrage rapide" sont activées.
• Le "texte de filtre rapide" actif pour limiter davantage ce qui est affiché.

#2
Liste déroulante pour basculer entre l'affichage de toutes les URL du site Web sous forme de "liste" plate et sous forme d'"arborescence".

#3
Liste déroulante pour configurer les colonnes de données visibles.

#4
Par rapport à ce qui précède, l'activation de la visibilité de la colonne de données "Redirections vers le chemin" ressemble à ceci :

#5
Liste déroulante pour configurer les "options de filtre rapide" sélectionnées.

#6
Bouton marche/arrêt pour activer/désactiver toutes les fonctionnalités "filtres rapides".

#7
Boîte contenant le "texte de filtre rapide" qui est utilisé pour personnaliser davantage ce qui est affiché.

L'utilisation des fonctionnalités "rapports rapides" et "filtres rapides" sera expliquée plus tard avec des exemples.

Côté droit

C'est ici que vous pouvez voir des détails supplémentaires sur l'URL sélectionnée sur le côté gauche. Cela inclut la liste "Lié par" avec des détails supplémentaires, la liste "Liens [internes]", la liste "Utilisé par", le "Résumé du répertoire" et plus encore.

Pour comprendre comment l'utiliser lors de l'examen des détails, comparez les deux scénarios suivants.

#1
À gauche, nous avons sélectionné l'URL http://crawler.techseo360.com/noindex-follow.html - nous pouvons également voir que le crawler l'a tagué "[noindex][follow]" dans la colonne de données "URL flags" :

À droite à l'intérieur de l'onglet "Liens [internes]", nous pouvons confirmer que tous les liens ont été suivis, y compris et afficher des détails supplémentaires .

#2
À gauche, nous avons sélectionné l'URL http://crawler.techseo360.com/nofollow.html - nous pouvons également voir que le crawler l'a tagué "[index][nofollow]" dans la colonne de données "URL flags". :

A droite à l'intérieur de l'onglet "Liens [internes]", nous pouvons confirmer qu'aucun lien n'a été suivi.

Utilisation des rapports rapides

Comme je l'ai dit, je ne les utilise pas souvent, préférant afficher toutes les colonnes de données, puis exporter vers Excel. Mais pour ceux qui aiment ce genre de rapports intégrés dans d'autres outils, voici quelques-uns des rapports rapides les plus utilisés :

Tous les types de redirections

Le "rapport rapide" intégré pour afficher toutes sortes de redirections, y compris les informations nécessaires pour suivre les chaînes de redirection :

Cela a essentiellement:

1. Modification de la visibilité des colonnes de données pour celles qui sont les plus appropriées.
2. Définissez le texte du filtre sur :
   [httpredirect|canonicalredirect|metarefreshredirect] -[noindex] 200 301 302 307
3. Filtres activés :
   • Only show URLs with all [filter-text] found in "URL state flags" column
   • Only show URLs with any filter-text-number found in "response code" column

Avec cela, une URL doit remplir les trois conditions suivantes pour être affichée :

1. Doit pointer vers une autre URL via une redirection HTTP, une instruction canonique ou une méta-actualisation "0 seconde".
2. Ne peut pas contenir d'instruction "noindex".
3. Doit avoir le code de réponse 200, 301, 302 ou 307.

404 Non trouvé

Si vous avez besoin d'identifier rapidement les liens brisés et les références d'URL, ce rapport est un bon choix. Avec cela, les colonnes de données "Linked.List" (par exemple balise "a"), "Used.List" (par exemple attribut "src") et "Redirected.List" sont rendues visibles.

Pas d'index

Visualisez rapidement toutes les pages avec l'instruction "noindex".

Titres en double #1

Visualisez rapidement toutes les pages avec des titres en double, y compris celles avec des titres vides en double.

Titres en double #2

S'il n'est pas remplacé par d'autres filtres, le texte du filtre correspond au contenu de toutes les colonnes de données visibles. Ici, nous avons réduit notre rapport sur les titres en double à ceux qui contiennent le mot "exemple".

Nombre de caractères du titre

Limitez les URL affichées par le nombre de caractères du titre. Vous pouvez contrôler le seuil et s'il est supérieur ou inférieur. Similaire est disponible pour les descriptions.

Nombre de pixels du titre

Limitez les URL affichées par le nombre de pixels du titre. Vous pouvez contrôler le seuil et s'il est supérieur ou inférieur. Similaire est disponible pour les descriptions.

Images et texte alternatif / d'ancrage manquant

Afficher uniquement les URL d'image qui ont été utilisées sans texte alternatif ou liées sans texte d'ancrage.

Autres outils

Analyse sur la page

Par défaut, une analyse complète du texte est effectuée sur toutes les pages lors de l'exploration du site Web. L'option trouvée pour cela réside dans "Analyser le site Web | Collecte de données" qui donne des résultats comme ceux-ci :

Cependant, vous pouvez également toujours analyser des pages individuelles sans explorer l'intégralité du site :

Notez que vous pouvez voir quels mots clés et expressions sont ciblés sur l'ensemble d'un site Web si vous utilisez le bouton "Somme des scores pour les pages sélectionnées".

Listes de mots clés

Un générateur de liste de mots clés flexible qui permet de combiner des listes de mots clés et d'effectuer un nettoyage complet.

Outils en ligne tiers

Si vous avez besoin de plus d'outils, vous pouvez les ajouter vous-même et même décider lesquels doivent être accessibles par onglets au lieu de simplement le menu déroulant.

Le logiciel transmettra automatiquement l'URL sélectionnée ou similaire à l'outil en ligne sélectionné. Chaque outil en ligne est configuré par un fichier texte qui définit quelles données sont transmises et comment cela se fait.

Plans de site

Types de fichiers de plan de site

Avec 13 formats de fichier de plan de site distincts, il y a de fortes chances que vos besoins soient couverts. Cela inclut les plans de site XML, les plans de site vidéo et les plans de site d'image.

Plans de site XML et Hreflang

Même si votre site Web n'inclut aucun balisage hreflang, TechSEO360 sera souvent en mesure de générer des plans de site XML avec des informations hreflang alternatives appropriées si vos URL contiennent des parties qui incluent une référence à la langue, à la culture ou au pays.

Plans de site XML pour images et vidéos

Vous pouvez généralement accélérer votre configuration en utilisant l'un des "préréglages rapides":

• Plan du site vidéo Google
• Plan du site vidéo Google (le site Web contient des vidéos hébergées en externe)
• Plan du site d'images Google
• Plan du site d'images Google (le site Web contient des images hébergées en externe)

Si vous avez l'intention de créer à la fois des sitemaps d'images et de vidéos, utilisez l'un des choix vidéo car ils incluent également toute la configuration optimale pour les sitemaps d'images.

TechSEO360 utilise différentes méthodes pour calculer quelles pages, vidéos et images vont ensemble dans les sitemaps XML générés - ce qui peut être délicat si une image ou une vidéo est utilisée à plusieurs endroits.

Plans de site HTML

Choisissez parmi les modèles HTML intégrés ou concevez le vôtre, y compris le code HTML/CSS/JS réel et diverses options utilisées lors de la création des plans de site.

Autre fonctionnalité

Prise en charge de Javascript et AJAX

Vous pouvez configurer TechSEO360 pour rechercher dans le code Javascript des références de fichiers et d'URL en cochant l'option "Analyser le site Web | Options du robot | Essayez de rechercher dans Javascript".

Si vous avez affaire à un site Web AJAX, vous pouvez passer à une solution compatible AJAX dans « Analyser le site Web | Moteur de robot | Type de chemin et gestionnaire par défaut ».

Recherche personnalisée de texte et de code

Il peut souvent être utile de rechercher du texte et du code sur l'ensemble d'un site Web, par exemple pour trouver des pages utilisant l'ancien code Google Analytics ou similaire.

Vous pouvez configurer plusieurs recherches dans « Analyser le site Web | Collecte de données » | Rechercher des chaînes personnalisées, des modèles de code et de texte".

Les résultats sont affichés dans la colonne de données "Recherches personnalisées de page" indiquant un décompte pour chaque recherche - éventuellement avec le contenu extrait de la correspondance de modèle.

Score d'importance calculé

TechSEO360 calcule l'importance de toutes les pages en fonction des liens internes et des redirections internes.

Vous pouvez le voir en activant la visibilité de la colonne de données "Score d'importance mis à l'échelle".

Détection de contenu similaire

Parfois, les pages sont similaires mais pas des doublons exacts. Pour les trouver, vous pouvez activer l'option "Analyser le site Web | Collecte de données | Suivi et stockage des données étendues | Effectuer une analyse des mots clés pour toutes les pages" avant l'analyse.

Lors de l'affichage des résultats, activez la visibilité de la colonne de données "Contenu de la page en double (vue visuelle)" et vous obtiendrez une représentation graphique du contenu.

Interface de ligne de commande (CLI)

Si vous utilisez la version d'essai ou la version payante, vous pouvez utiliser la ligne de commande - voici un exemple :
"techseo.exe" -exit -scan -build ":my-project.ini" @override_rootpath=http://example.com@
Ce qui précède passe un fichier de projet avec toutes les options définies, remplace le domaine du site Web et demande à TechSEO360 d'exécuter une analyse complète, de créer des plans de site et de quitter.

Importation de données

La fonctionnalité "Fichier | Importer..." fonctionne intelligemment et permet de :

• Importer des listes d'URL. Si les URL importées proviennent de domaines mixtes, TechSEO360 déterminera s'il existe un domaine principal et les importera de manière appropriée dans les onglets "Interne" et "Externe".
• TechSEO360 peut également détecter diverses autres sources de données dont le contenu sera plutôt ajouté aux données existantes :
  • Le serveur Apache se connecte aux URL visitées par GoogleBot "[googlebot]" et détecte les URL non liées/utilisées en interne "[orphelin]".
  • Google Webmaster Tools exporte vers des "tags" des URL indexées par Google "[googleindexed]" et des données de clics et d'impressions.
  • Exportations CSV majestueuses pour les données de score des backlinks.

  Le "[...]" ci-dessus peut être utilisé par le "texte des filtres rapides" pour générer d'autres rapports personnalisés.

Exportation de données

La fonctionnalité "Fichier | Exporter..." peut exporter des données vers CSV, Excel, HTML et plus en fonction de ce que vous exportez. Utiliser:

• Sélectionnez le contrôle avec les données que vous souhaitez exporter.
• Appliquez des options pour que le contrôle ne contienne que les données que vous souhaitez exporter. (Cela peut par exemple inclure des "colonnes de données", des "options de filtre rapide" et un "texte de filtre rapide")
• Cliquez sur le bouton "Exporter" et vous avez maintenant les données que vous voulez dans le format que vous voulez.

Tarification TechSEO360

Il existe essentiellement trois états différents :

1. Lorsque vous téléchargez le logiciel pour la première fois, vous bénéficiez d'un essai gratuit de 30 jours entièrement fonctionnel.
2. Lorsque l'essai expire, il continue de fonctionner en mode gratuit, ce qui permet d'explorer 500 pages de sites Web.
3. Lors de l'achat, le prix de l'abonnement annuel est de 99 $ pour une licence mono-utilisateur qui peut être utilisée à la fois sur Windows et sur Mac.

Vous pouvez télécharger la version d'essai pour Windows et Mac sur https://TechSEO360.com .