Si vous êtes un utilisateur de WordPress, en tant qu’entreprise ou agence, vous connaissez certainement Yoast SEO, probablement l’un des meilleurs plugins disponible sur WordPress pour optimiser son contenu et ses performances organiques sur les moteurs de recherche.
Voilà pourquoi, dans la conception du plugin Better Robots.txt, nous avons pensé tout naturellement nous associer au meilleur pour offrir … le meilleur de l’optimisation. Parce qu’il s’agit bien de ça, optimiser votre site web pour aller chercher le maximum d’efficacité de votre contenu.
Le saviez-vous ? Yoast SEO vous permet de configurer un grand nombre d’éléments à l’intérieur de votre site Web, que ce soit les META données, les différentes sitemaps associées à vos pages, articles, produits, … même l’édition du robots.txt et du .htaccess (configuration avancée). Mais en date d’aujourd’hui, il n’existait encore aucune solution permettant de combiner “sitemap” et “robots.txt” avec gestion d’instructions d’indexation pour les moteurs de recherche. Et c’est très exactement ce que propose Better Robots.txt avec la complicité de YOAST via l’index de sitemap.
Mais pourquoi est ce que le Robots.txt est si important ?
Pour la petite histoire, en 2006, Yahoo, Microsoft et Google se sont unis pour soutenir et déployer le protocole standardisé de soumission de pages d’un site à l’aide de sitemaps. Depuis lors, plusieurs méthodes ont été mise en place afin d’inviter les concepteurs Web (agence, développeur) à soumettre religieusement leurs différentes sitemaps via des outils tels que Google pour les webmasters (Google Search Console), Bing pour les webmasters, Yahoo alors que pour d’autres moteurs de recherche tels que DuckDuckGoGo (par exemple), ces derniers utilisent les résultats provenant directement de Bing / Yahoo.
Après environ six mois, en avril 2007, Yahoo, Microsoft et Google (toujours) ont rejoint un système de recherche de sitemap via robots.txt appelé “autodiscovery de sitemaps”. Cela signifiait que même si vous n’aviez pas soumis de sitemap à des moteurs de recherche individuels (par un listing traditionnel), les moteurs de recherche pouvaient tout de même trouver l’emplacement de la sitemap à partir du fichier robots.txt de votre site (compte tenu que celui était lu par défaut par les moteurs de recherche).
(REMARQUE: la soumission de sitemap est toujours effectuée sur la plupart des moteurs de recherche autorisant la soumission d’URL)
En conséquence, dès cet instant, le fichier robots.txt est devenu un outil incontournable (dans un contexte de communication avec les moteurs de recherche) car il permettait, en dehors de toute forme de listing, d’ouvrir la voie aux robots d’indexation des moteurs de recherche autorisant ainsi l’exploration et l’indexation d’un site web auquel il est associé. D’où l’importance du Robots.txt et son optimisation !
Que fait Better robots.txt ?
Better Robots.txt, entre autres fonctionnalités (voir la description) permet, d’abord, de détecter si YOAST SEO est effectivement installé sur le site (ce que nous recommandons) et si la fonctionnalité permettant de générer des Sitemaps est activée et, ensuite, d’ajouter automatiquement l’URL de l’index de sitemap de YOAST (contenant toutes les sitemaps du site), de manière efficace, dans le robots.txt. Bien sur, si vous utilisez un autre plugin SEO (que YOAST), il vous est tout à fait possible d’ajouter manuellement vos Sitemaps mais nous avons pensé, compte tenu du succès (à plusieurs millions de téléchargements de YOAST), qu’il était plus opportun de s’associer à une référence connue de tous.
En quoi rajouter la Sitemap dans le robots.txt peut générer une différence ?
Dans sa forme la plus simple, une sitemap est un fichier XML (.xml) qui répertorie les URL d’un site en intégrant des métadonnées supplémentaires de chaque URL (date de dernière mise à jour, fréquence à laquelle elle change généralement et importance par rapport aux autres URLs du site) afin que les moteurs de recherche puissent explorer plus intelligemment le site. Dans les faits, donc, la sitemap, en général contient une information très précieuse pour les robots d’indexation, il s’agit des dates de dernières modifications. Compte tenu que le robots.txt est le tout premier fichier lu lorsque votre site est chargé dans un navigateur, profiter de cette occasion pour inviter les robots d’indexation à parcourir vos sitemaps (et donc identifier les nouvelles pages ou les pages modifiées) constitue l’assurance que votre contenu le plus récent sera effectivement indexé et affiché dans les résultats de recherche.
Alors, maintenant que vous en savez plus, à quoi ressemble votre robots.txt ?
Pour identifier le contenu de votre robots.txt (et voir également s’il existe), il vous suffit de copier-coller l’URL de votre site Web (avec le http:// ou le https:// ) dans le champ indiqué ci-dessous :
[robotschecker]
À titre de comparaison, voici le nôtre: https://better-robots.com/robots.txt. Voyez-vous la différence?
Vous vous demandez si votre agence s’y connait en la matière ? Testez leur site Web avec l’outil ci-dessus. Si vous voyez que ce n’est pas le cas, notre plugin vous permettra de résoudre ce problème !