Blog

Pourquoi avoir créé Better Robots.txt et qu’est ce que ça change ?

De nos jours, il est de plus en plus difficile de se démarquer par l’intermédiaire de son site Web. Le Web se densifie quotidiennement et le référencement organique représente encore et toujours l’un des défis majeurs auxquelles sont confrontées la majeure partie des entreprises. Bien sur, il existe des solutions court-termistes plus immédiates pour émerger dans les moteurs de recherche, comme la publicité (Adwords) mais l’investissement peut rapidement devenir un gouffre financier pour autant que le positionnement choisi n’est pas optimal et surtout que l’entreprise en soit strictement dépendante pour survivre.

Le référencement organique permet une croissance naturelle sur le long terme ainsi que des résultats, aujourd’hui,  devenus incontestables et implacables d’efficacité. Mais pour y arriver, il faut mettre toutes les chances de son côté et c’est là que le SEO entre en jeu ainsi que l’ensemble des processus permettant aux moteurs de recherche de vous identifier et de comprendre ce que vous faites (compréhension & crédibilité).

Mais quel est le rapport avec Beter Robots.txt ?

En fait, Better Robots.txt intervient directement sur les capacités de votre site à générer du référencement organique. Dans un processus d’optimisation “traditionnelle” de type OnPage, un technicien SEO travaillera habituellement à deux niveaux, le contenant et le contenu. Donc, ce qui génère votre site Web et ce qu’il contient.

En dehors des procédés d’optimisation du contenu habituels qui sont relativement connus de tous (mots-clés, balises, données structurées, …), l’optimisation du contenant reste souvent secondaire ou limitée. On parle ici:

  • De l’optimisation du temps de chargement (Cache)
  • Des erreurs de codage (exécution de script) et de liens (404)
  • Des erreurs de canonicalisation
  • De l’optimisation des capacités d’indexation (robots.txt, sitemap)
  • … (la liste est longue)

Et il se trouve que, dans cette liste, la Sitemap et le Robots.txt, éléments cruciaux associés à l’indexation du contenu d’un site Web, sont très souvent oubliés, voire négligés, et ce, que les sites soient montés en agence ou pas (!!). Cette réalité est d’autant frappante que lors de nos audits SEO (concernant tous type d’entreprises, de la plus prestigieuse à la plus modeste), nous avons été en mesure d’établir que:

  • 1 fois sur 5, le site audité n’a pas de Sitemap
  • 1 fois sur 15, le site audité n’a pas de robots.txt (moins fréquent)
  • 4 fois sur 5, le site audité ne contient aucune instruction d’indexation dans son robots.txt (autre que la base)
  • Plus de 9 fois sur 10, le site audité ne contient pas l’url de (ou des) sitemap(s) dans le robots.txt

Plus concrètement, concernant les sites web WordPress, près de 95% d’entre eux ne sont pas en mesure de déployer leur plein potentiel de référencement organique associé à leur contenu en raison du manque de configuration du fichier Robots.txt. C’est de la PURE PERTE d’efficacité.

Better Robots.txt permet simplement, en quelques clics, de corriger cette problématique par la configuration appropriée du Robots.txt, en facilitant l’accès à votre contenu par les moteurs de recherche et en maximisant le potentiel de votre créativité passée et à venir (texte, etc.). L’idée étant ici de mettre un point final à cette situation en offrant une solution simple mais efficace par l’intermédiaire d’un plugin user-friendly et accessible à tous (sans connaissance technique).

En savoir plus sur le plugin ?

Pourquoi avoir créé Better Robots.txt et qu’est ce que ça change ?

Comment expliquer que cette situation soit si répandue ?

Tout d’abord, il faut que vous sachiez que ce n’est ni votre faute, ni celle de WordPress ! C’est ainsi… Il y a tellement de choses auxquelles il faut penser lors de la création d’un site, qu’un simple fichier (robots.txt) peut facilement se perdre de les méandres des modifications & ajustements inhérents à la création Web.

Toutefois, en date d’aujourd’hui, s’il y a désormais une chose dont vous devez vous soucier, parmi toutes les techniques d’optimisation SEO avec lesquelles vous avez déjà tenté d’améliorer le référencement de votre site Web, le Robots.txt doit figurer au sommet de votre liste (manuellement ou par l’entremise de Better Robots.txt).


Faites le test: à quoi ressemble votre Robots.txt ?

Pour en savoir plus, il vous suffit de copier-coller l’URL de votre site Web (avec le http:// ou le le https:// ) dans le champs indiqué ci-dessous, ce qui permettra d’identifier tout d’abord si vous en avez un, et si oui, quel est son contenu:

[robotschecker]

À titre de comparaison, voici le notre: https://better-robots.com/robots.txt. Voyez-vous la différence?


Comment en sommes-nous arrivés là ?

Il se trouve que PAGUP, l’entité en arrière de Better Robots.txt, est une Agence SEO (Canada) 100% spécialisée dans les processus d’optimisation pour les moteurs de recherche de type “onPage” (donc à l’intérieur du site). Après réalisé un très grand nombre d’audits SEO de sites Web, nous avons remarqué la récurrence de cette “sous-optimisation” pratiquement sur la totalité des sites que nous analysions et ce, même auprès d’agences traditionnelles ayant pignon sur rue ou d’entreprises canadiennes ou nord-américaines de renommée internationale.

Toutefois, c’est dans le cadre même de nos services d’optimisation que nous avons constaté l’impact presqu’immédiat que pouvait générer la configuration optimale de ce fichier. Il se trouve que nos processus d’optimisation, initialement dédiés aux sites WordPress, se composaient de deux étapes. Une première partie, plus technique, dès le début du mandat, consistant à corriger essentiellement les erreurs techniques récurrentes (dont faisait partie le robots.txt et la sitemap) et une seconde, un peu plus tard (2 à 3 semaines), strictement orientée sur le contenu. Et c’est en monitorant quotidiennement le référencement organique de ces sites Web que nous avons avons observé que, dans la très grande majorité des cas, quelque semaines après la première partie du mandat (et sans toucher à la seconde étape, donc au contenu), les sites avaient acquis beaucoup plus de référencement (de positions occupées dans les SERP) avec, pour certains, jusqu’à 150% de mots-clés en plus.

Après plus de 250 observations similaires, dans des circonstances identiques, nous en avons déduis à quel point un robots.txt bien configuré/optimisé pouvait avoir un impact significatif en matière de performance organique (SEO).

Et parce que, à l’époque, il n’existait aucune solution disponible sur WordPress permettant d’automatiser ou de simplifier ce processus d’optimisation pour le plus grand nombre, nous avons décidé de créer Better Robots.txt.

Une innovation simple mais qui va changer votre entreprise sur le web !

Click to rate this post!
[Total: 0 Average: 0]