Comment ajouter un fichier Robots.txt pour WordPress
Publié: 2019-06-21
Il ne suffit pas de créer un site Web. Être répertorié dans les moteurs de recherche est l'objectif essentiel de tous les propriétaires de sites Web afin qu'un site Web devienne visible dans les SERP pour certains mots-clés. Cette liste d'un site Web et la visibilité du contenu le plus récent sont principalement dues aux robots des moteurs de recherche qui explorent et indexent les sites Web. Les webmasters peuvent contrôler la manière dont ces robots analysent les sites Web en insérant des instructions dans un fichier spécial appelé robots.txt.
Dans cet article, je vais vous expliquer comment configurer un fichier robots.txt WordPress pour le meilleur référencement de site Web. Notez que plusieurs pages d'un site WordPress n'ont pas besoin d'être indexées par les moteurs de recherche.
- Qu'est-ce qu'un fichier Robots.txt ?
- Pourquoi créer Robots.txt pour WordPress ?
- Comment créer Robots.txt pour WordPress ?
- Robots.txt avancés pour WordPress
- Que faut-il inclure dans Robots.txt pour WordPress ?
- Foire aux questions (FAQ)
Qu'est-ce qu'un fichier Robots.txt ?
Un robots.txt est un fichier texte situé à la racine de votre site Web qui indique aux robots des moteurs de recherche de ne pas explorer certaines parties de votre site Web. Il est également connu sous le nom de Robots Exclusion Protocol qui empêche les moteurs de recherche d'indexer certains contenus inutiles et/ou spécifiques (par exemple votre page de connexion et vos fichiers sensibles).
En bref, robots.txt indique aux robots des moteurs de recherche ce qu'ils ne doivent pas explorer sur votre site Web.
Voici comment ça marche ! Lorsqu'un bot de moteur de recherche est sur le point d'explorer une URL de votre site Web (c'est-à-dire qu'il explorera et récupérera des informations afin qu'elles puissent être indexées), il recherchera d'abord votre fichier robots.txt.
Pourquoi créer Robots.txt pour WordPress ?
Vous n'avez généralement pas besoin d'ajouter le fichier robots.txt pour les sites Web WordPress. Les moteurs de recherche indexent l'intégralité des sites WordPress par défaut. Cependant, pour un meilleur référencement, vous pouvez ajouter un fichier robots.txt à votre répertoire racine pour interdire spécifiquement aux moteurs de recherche d'accéder à des zones spécifiques de votre site Web WordPress.
IdeaBox – Étude de cas
Découvrez comment Cloudways a aidé une agence WordPress à créer de meilleurs produits.
Merci
Votre ebook est en route vers votre boîte de réception.
Comment créer Robots.txt pour WordPress ?
Connectez-vous à votre tableau de bord d'hébergement Web WordPress géré. Dans mon exemple, j'utilise Cloudways - Plateforme d'hébergement cloud géré.
Accédez à l'onglet Serveurs dans la barre de menus supérieure et obtenez votre accès SSH/SFTP à partir de Gestion de serveur → Informations d'identification principales .
Utilisez n'importe quelle application de serveur FTP pour accéder à vos fichiers de base de données WordPress. J'utilise FileZilla pour ce tutoriel. Lancez-le et connectez-vous à votre serveur en utilisant Master Credentials .
Une fois connecté, allez dans le dossier /applications de vos fichiers de base de données WordPress. Vous y verrez différents dossiers.
Revenez maintenant à la plate-forme Cloudways et à partir de la barre supérieure gauche, accédez à Applications . Sélectionnez l'application pour laquelle vous souhaitez ajouter le fichier robots.txt :
Dans le volet de gauche, accédez à Gestion des applications → Paramètres d'application → Général . Vous trouverez le nom du dossier de votre application.
Revenez à FileZilla, puis accédez à /applications/[FOLDER NAME]/public_html . Créez un nouveau fichier texte ici et nommez-le robots.txt .
Cliquez avec le bouton droit sur le fichier robots.txt et cliquez sur Afficher/Modifier pour l'ouvrir dans un éditeur de texte (le Bloc-notes est une option pratique).
Robots.txt avancés pour WordPress
Les moteurs de recherche comme Google et Bing prennent en charge l'utilisation de caractères génériques dans le fichier robots.txt. Ces caractères génériques peuvent être utilisés pour autoriser/interdire des types de fichiers spécifiques sur le site Web WordPress.
Un astérisque (*) peut être utilisé pour gérer un large éventail d'options/sélections.
Agent utilisateur: * Interdire : /images/image*.jpg
Ici, « * » signifie que toutes les images commençant par « image » et avec l'extension « jpg » ne seront pas indexées par les moteurs de recherche. Voici quelques exemples de robots.txt WordPress.
Exemple : image1.jpg, image2.jpg, imagexyz.jpg ne seront pas indexés par les moteurs de recherche.
La puissance de * n'est pas limitée aux images uniquement. Vous pouvez même interdire tous les fichiers avec une extension particulière.
Agent utilisateur: * Interdire : /téléchargements/*.pdf Interdire : /téléchargements/*.png
Les déclarations ci-dessus demanderont à tous les moteurs de recherche d'interdire tous les fichiers avec les extensions « pdf » et « png » trouvés dans le dossier des téléchargements.
Vous pouvez même interdire les répertoires principaux de WordPress en utilisant *.
Agent utilisateur: * Interdire : /wp-*/
La ligne ci-dessus demande aux moteurs de recherche de ne pas explorer les répertoires commençant par "wp-".
Exemple : wp-includes, wp-content, etc. ne seront pas indexés par les moteurs de recherche.
Un autre symbole générique utilisé dans le fichier robots.txt de WordPress est le symbole dollar ($).
Agent utilisateur: * Interdire : référence.php
La déclaration ci-dessus demandera aux moteurs de recherche de ne pas indexer reference.php et également reference.php?id=123 et ainsi de suite.
Mais que se passe-t-il si vous souhaitez bloquer uniquement reference.php ? Vous n'avez qu'à inclure le symbole $ juste après le fichier reference.php.
Le symbole $ garantit que seul reference.php est bloqué mais pas reference.php?id=123.
Agent utilisateur: * Interdire : référence.php$
Vous pouvez également utiliser $ pour les répertoires.
Agent utilisateur: * Interdire : /wp-content/
Cela demandera aux moteurs de recherche d'interdire le dossier wp-content ainsi que tous les répertoires qui se trouvent dans wp-content. Si vous souhaitez interdire uniquement wp-content plutôt que tous les sous-dossiers, vous devez utiliser le symbole $. Par exemple:
Agent utilisateur: * Interdire : /wp-content/$
Le symbole $ garantit que seul le contenu wp est interdit. Tous les répertoires de ce dossier restent accessibles.
Vous trouverez ci-dessous le fichier robots.txt pour le blog Cloudways.
Agent utilisateur: * Interdire : /admin/ Interdire : /admin/* ?* Interdire : /admin/* ? Interdire : /blog/*?* Interdire : /blog/* ?
La première ligne indique le User-agent. Il s'agit du moteur de recherche autorisé à accéder au site Web et à l'indexer. Une liste complète de tous les robots des moteurs de recherche est disponible ici .
Agent utilisateur: *
Où * signifie tous les moteurs de recherche. Vous pouvez spécifier chaque moteur de recherche séparément.
Interdire : /admin/ Interdire : /admin/* ?* Interdire : /admin/* ?
Cela ne permettra pas aux moteurs de recherche d'explorer le répertoire « admin ». Il n'est souvent pas nécessaire que les moteurs de recherche indexent ces répertoires.
Interdire : /blog/*?* Interdire : /blog/* ?
Si votre site WordPress est un site de blogs, il est préférable de restreindre les robots des moteurs de recherche pour ne pas explorer vos requêtes de recherche.
Si votre site a un plan du site. L'ajout de son URL aide les robots des moteurs de recherche à trouver le fichier plan du site. Cela se traduit par une indexation plus rapide des pages.
plan du site : http://www.votresite.com/sitemap.xml
Que faut-il inclure dans Robots.txt pour WordPress ?
Vous décidez quelles parties du site WordPress vous souhaitez inclure dans SERP. Chacun a sa propre opinion sur la configuration du fichier robots.txt de WordPress. Certains recommandent de ne pas ajouter de fichier robots.txt dans WordPress. Alors qu'à mon avis, il faut ajouter et interdire le dossier /wp-admin/. Le fichier Robots.txt est public. Vous pouvez trouver un fichier robots.txt de n'importe quel site Web en visitant www.example.com/robots.txt.
Nous avons terminé avec un fichier robots.txt dans WordPress. Si vous avez des questions sur la configuration du fichier robots.txt, n'hésitez pas à demander dans la section commentaires ci-dessous.
Emballer!
Comme vous pouvez le constater, le fichier robots.txt est un outil intéressant pour votre référencement. Il permet d'indiquer aux robots des moteurs de recherche ce qu'il faut indexer et ce qu'il ne faut pas indexer. Mais il doit être manipulé avec précaution. Une mauvaise configuration peut entraîner une désindexation totale de votre site web (exemple : si vous utilisez Disallow:/). Donc sois prudent!
Maintenant c'est ton tour. Dites-moi si vous utilisez ce type de fichier et comment vous le configurez. Partagez-moi vos commentaires et réactions dans les commentaires.
Q1. Qu'est-ce que le fichier robots.txt ?
Le robots.txt est un fichier texte placé à la racine de votre site Web. Ce fichier est destiné à interdire aux robots des moteurs de recherche d'indexer certaines zones de votre site Web. Le fichier robots.txt est l'un des premiers fichiers scannés par les araignées (robots).
Q2. Pourquoi un fichier robots.txt est-il utilisé ?
Le fichier robots.txt donne des instructions aux robots des moteurs de recherche qui analysent votre site Web, c'est un protocole d'exclusion pour les robots. Grâce à ce fichier, vous pouvez interdire l'exploration et l'indexation de votre site à certains robots (appelés aussi « crawlers » ou « spiders »).