Vous vous demandez pourquoi vous n’apparaissez pas dans les résultats de recherche ? Si c’est le cas, il est possible que les moteurs de recherche n’aient pas la moindre idée de l’existence de vos pages.
Vous êtes propriétaire d’un site Web WordPress, vous êtes entrepreneur, chef d’une PME ou d’une simple boutique en ligne ou alors vous êtes travailleur autonome et vous vivez de votre site Web (ou souhaitez en vivre). Vous avez déjà entendu parler du SEO, votre agence ou développeur vous a donné des conseils, vous lisez beaucoup sur le sujet mais malgré tout, vous n’arrivez pas à vous démarquer sur Google. Il y a possiblement une raison à ça !
Saviez-vous que selon une étude réalisée en 2017 sur un très grand nombre de sites Web, près de 95% des sites WordPress audités présentaient tous une “problématique” récurrente qui les empêchait d’aller chercher le maximum de performance et de visibilité de leur contenu ? Cette “erreur”, qui s’apparente davantage à un problème de configuration, présente deux conséquences:
- Une difficulté pour les robots d’indexation (Google, Bing, …) d’accéder à votre contenu
- Un obstacle à l’identification du nouveau contenu sur votre site pour les robots d’indexation
Résultats ? Vos articles récents, vos produits ou vos services n’apparaissent tout simplement pas sur Google.
De quoi s’agit-il ?
Chaque site Web présente à sa racine (sur le serveur d’hébergement) un fichier appelé “robots.txt”. Ce fichier texte, d’une extrême simplicité qui, la plupart temps est soit mal configuré soit totalement oublié, s’avère être l’un des plus importants faisant partie de votre site. Et c’est peu dire car c’est le seul élément de votre site qui “parle” directement aux moteurs de recherche !
Lorsque votre site est “visité” par un moteur de recherche, de manière systématique et avant tout autre opération, celui-ci recherche dans la racine de votre site, le robots.txt an d’en lire le contenu. Il s’agit donc du TOUT premier chier lu et chargé en rapport avec votre site. Et la raison pour laquelle les moteurs de recherche lisent ce chier, c’est parce qu’il contient des informations, plutôt des instructions, strictement à leur intention.
Ces instructions sont simples mais essentielles:
- Que puis-je lire et indexer
- Que dois-je ne pas lire et indexer
À priori, si vous avez un site, vous souhaitez que votre contenu soit pris en considération par les moteurs de recherche afin d’être trouvé dans les résultats de recherche par vos visiteurs. Toutefois, pour que cela soit possible, il est nécessaire d’indiquer aux robots d’indexation ce qu’ils peuvent faire de ce qu’ils ne peuvent pas faire. Et comme c’est important d’être vu sur Google, c’est tout aussi important que certaines parties de votre site ne soient pas accessibles (pour protéger certaines données, des pages internes sans importance, etc.)
En outre, compte tenu que le robots.txt constitue la première donnée analysée provenant de votre site Web, il est crucial de pouvoir informer les moteurs de recherche des nouveautés récemment mise en place sur le site (nouveau produit, modification ou ajout d’article, etc.) et c’est encore une fois le robots.txt, via la “sitemap”, qui le permet.
Bref, autant dire que ce fichier est d’une importance capitale. Pourtant, alors que la stricte raison pour laquelle vous faites un site web est d’être trouvé sur le Web, ce simple fichier qui sert justement à ça, se trouve être négligé ou oublié plus de 9 fois sur 10 ! Et vous faites partie de cette statistique, à coup sur !
Le plugin Better Robots.txt
Voilà pourquoi nous avons conçu Better Robots.txt, un plugin simple qui permet:
- D’intégrer dans votre robots.txt des instructions d’indexation pour plus d’une quinzaine de robots d’indexation, parmi les plus populaires (les informant de ce qu’ils peuvent indexer ou pas);
- De détecter et d’injecter l’URL de votre Sitemap (index) dans le robots.txt (100% compatible avec le plugin YOAST SEO);
- De définir un crawl-delay (permettant de spécifier et de régler le nombre de secondes que doit attendre le robot entre
chaque requêtes successives) évitant ainsi de surcharger votre serveur par des requêtes d’indexation trop nombreuses; - De bloquer les robots d’indexation indésirables (Bad bots) – Scrapers, …;
- De vous permettre d’éditer directement le contenu du Robots.txt pour personnaliser des instructions plus avancées;
Testé sur plusieurs centaines de sites Web, peu importe le domaine d’activité, la simple configuration de ce fichier a permis, dans 100% des cas, de booster le référencement organique des sites en question (jusqu’à le doubler dans certains cas). Pourquoi ? Parce qu’en quelques clics, vous avez amené les robots d’indexation à découvrir ou redécouvrir le contenu de votre site Web en le débloquant !
Ce n’est pas un “hack obscure” mais une technique SEO tout simplement méconnue (voir cet article de Neil Patel) .
Alors, maintenant que vous en savez plus, à quoi ressemble votre robots.txt ?
Pour identier le contenu de votre robots.txt (et voir également s’il existe), il vous suffit de copier-coller l’URL de votre site Web (avec le http:// ou le https://) dans le champ indiqué ci-dessous :
[robotschecker]
À titre de comparaison, voici le nôtre: https://better-robots.com/robots.txt. Voyez-vous la différence?
Vous vous demandez si votre agence s’y connait en la matière ? Testez leur site Web. Si vous voyez que ce n’est pas le cas, notre plugin vous permettra de résoudre ce problème !