Support Besoin d'aide? Contactez-nous!
Vous avez des questions à propos de Better Robots.txt.
Questions souvent posées
Qu'est ce qu'un fichier robots.txt ?
Qu'est ce qu'une sitemap (plan de site) ?
Qu'est ce qu'un délai d'indexation?
Une instruction comme “crawl-delay: 10”, par exemple, conduirait à Yahoo et Bing attendre 10 secondes après une action de “crawl” (de lecture des liens pour l’indexation). Yandex, quant à lui n’accéderait à votre site qu’une fois toutes les 10 secondes. Une différence sémantique, mais intéressante à savoir.
Faites attention lorsque vous utilisez la directive crawl-delay. En définissant un délai d’analyse de 10 secondes, vous autorisez uniquement ces moteurs de recherche à indexer 8 640 pages par jour. Cela peut sembler beaucoup pour un petit site, mais sur de grands sites, ça ne l’est pas.
Pourquoi ajouter la sitemap dans le Robots.txt file peut réellement faire une différence sur le référencement ?
Pour la petite histoire, en 2006, Yahoo, Microsoft et Google se sont unis pour soutenir et déployer le protocole standardisé de soumission de pages d’un site à l’aide de sitemaps. Depuis lors, plusieurs méthodes ont été mise en place afin d’inviter les concepteurs Web (agence, développeur) à soumettre religieusement leurs différentes sitemaps via des outils tels que Google pour les webmasters (Google Search Console), Bing pour les webmasters, Yahoo alors que pour d’autres moteurs de recherche tels que DuckDuckGoGo (par exemple), ces derniers utilisent les résultats provenant directement de Bing / Yahoo.
Après environ six mois, en avril 2007, Yahoo, Microsoft et Google (toujours) ont rejoint un système de recherche de sitemap via robots.txt appelé “autodiscovery de sitemaps”. Cela signifiait que même si vous n’aviez pas soumis de sitemap à des moteurs de recherche individuels (par un listing traditionnel), les moteurs de recherche pouvaient tout de même trouver l’emplacement de la sitemap à partir du fichier robots.txt de votre site (compte tenu que celui était lu par défaut par les moteurs de recherche).
(REMARQUE: la soumission de sitemap est toujours effectuée sur la plupart des moteurs de recherche autorisant la soumission d’URL)
En conséquence, dès cet instant, le fichier robots.txt est devenu une outil incontournable (dans un contexte de communication avec les moteurs de recherche) car il permettait, en dehors de toute forme de listing, d’ouvrir la voie aux robots d’indexation des moteurs de recherche permettant ainsi l’exploration et l’indexation d’un site web auquel il est associé. D’où l’importance du Robots.txt et son optimisation !
Quelle sitemap sera ajoutée par le plugin dans le robots.txt ?
Better Robots.txt détectera votre configuration et ajoutera votre URL d’index de Sitemap (sitemap_index.xml) contenant tous vos sitemaps (page, post, catégorie, etc.) dans le fichier Robots.txt.
Une fois activé, le plugin Better Robots.txt l’ajoutera automatiquement.
Toutefois, si vous souhaitez utiliser une autre sitemap (à partir d’un autre plugin SEO / sitemap), il vous suffit simplement de la copier-coller dans le champ vide dédié aux sitemaps et de sauvegarder votre configuration.
Aussi simple que ça !
Comment ajouter plus d'instructions dans le fichier robots.txt ?
NOTE: Assurez-vous de ne pas supprimer ou d’ajouter du contenu si vous n’êtes pas en connaissance des règles à respecter concernant ce fichier. Le robots.txt joue un rôle plus que névralgique pour la santé de votre site web et toute mauvaise pratique pourrait entraîner de sérieux problèmes d’indexation avec les moteurs de recherche (et donc une perte significative de référencement).
En outre, vous devez faire attention à une chose lorsque vous ajoutez manuellement votre URL de Sitemap au fichier robots.txt…
- D’abord, il est conseillé d’ajouter la mention “Sitemap” avec l’URL du sitemap dans votre robots.txt. Pensez toujours à consulter les outils Google pour les webmasters afin de détecter d’éventuelles erreurs (environ une semaine après la mise à jour de votre fichier robots.txt).
- Ensuite, pensez aussi à laisser un espace après la ligne de l’URL du sitemap et tout autre forme d’instructions dans le robots.txt.
Nous donner un review ? Notre équipe aime particulièrement travailler avec des experts ainsi que des journalistes partout dans le monde pour partager leur expérience à propos de nos produits.
Si vous êtes intéressé à écrire une avis/review à propos du plugin Better Robots.txt,
nous pourrions vous offrir une licence gratuite (!).
Envoyez-nous un email à [email protected] pour prendre contact avec notre équipe.
