Support Besoin d'aide? Contactez-nous!

Vous avez des questions à propos de Better Robots.txt.


Nous répondons à chaque message. Pensez à vérifier votre dossier spam au cas où vous n'avez pas entendu parler de nous!

Questions souvent posées

Qu'est ce qu'un fichier robots.txt ?

Le Robots.txt est un fichier texte, présent à la racine d’un site, que les webmasters (ou agences) créent pour informer les robots d’indexation (généralement les robots des moteurs de recherche) ce qu’ils doivent explorer des pages sur leur site web. Les fichiers Robots.txt indiquent si quels « agents utilisateurs » (logiciels d’analyse Web) peuvent ou non explorer des parties précises d’un site Web. Ces instructions d’exploration sont spécifiées en « interdisant » (Allow) ou en « autorisant » (Disallow) le comportement de certains (ou de tous) agents utilisateurs (robots d’indexation).

Qu'est ce qu'une sitemap (plan de site) ?

Les Sitemaps sont un moyen facile pour les webmasters d’informer les moteurs de recherche sur les pages, articles ou produits de leurs sites qui sont disponibles pour l’exploration. Dans sa forme la plus simple, une sitemap est un fichier XML  (.xml) qui répertorie les URL d’un site en intégrant des métadonnées supplémentaires de chaque URL (date de dernière mise à jour, fréquence à laquelle elle change généralement et importance par rapport aux autres URL du site). ) afin que les moteurs de recherche puissent explorer plus intelligemment le site.

Source

Qu'est ce qu'un délai d'indexation?

Prise en charge par Yahoo, Bing et Yandex (pas par Google), l’instruction « crawl-delay » (ou délai d’indexation en français) permet dans certaines circonstances de ralentir l’indexation d’un site par notamment ces trois moteurs de recherche. L’interprétation de cette instruction peut toutefois varier selon le moteur de recherche.

Une instruction comme « crawl-delay: 10 », par exemple, conduirait à Yahoo et Bing attendre 10 secondes après une action de « crawl » (de lecture des liens pour l’indexation). Yandex, quant à lui n’accéderait à votre site qu’une fois toutes les 10 secondes. Une différence sémantique, mais intéressante à savoir.

Faites attention lorsque vous utilisez la directive crawl-delay. En définissant un délai d’analyse de 10 secondes, vous autorisez uniquement ces moteurs de recherche à indexer 8 640 pages par jour. Cela peut sembler beaucoup pour un petit site, mais sur de grands sites, ça ne l’est pas.

Pourquoi ajouter la sitemap dans le Robots.txt file peut réellement faire une différence sur le référencement ?

Un sitemap est un fichier XML qui contient une liste de toutes les pages Web d’un site. Il peut également contenir des informations supplémentaires sur chaque URL sous la forme de métadonnées. Et tout comme le robots.txt, une sitemap est un prérequis nécessaire pour permettre au site de performer dans les résultats de recherche. Fondamentalement, la Sitemap aide les moteurs de recherche à explorer et indexer toutes les pages Web d’un site.

Pour la petite histoire, en 2006, Yahoo, Microsoft et Google se sont unis pour soutenir et déployer le protocole standardisé de soumission de pages d’un site à l’aide de sitemaps. Depuis lors, plusieurs méthodes ont été mise en place afin d’inviter les concepteurs Web (agence, développeur) à soumettre religieusement leurs différentes sitemaps via des outils tels que Google pour les webmasters (Google Search Console), Bing pour les webmasters, Yahoo alors que pour d’autres moteurs de recherche tels que DuckDuckGoGo (par exemple), ces derniers utilisent les résultats provenant directement de Bing / Yahoo.

Après environ six mois, en avril 2007, Yahoo, Microsoft et Google (toujours) ont rejoint un système de recherche de sitemap via robots.txt appelé « autodiscovery de sitemaps ». Cela signifiait que même si vous n’aviez pas soumis de sitemap à des moteurs de recherche individuels (par un listing traditionnel), les moteurs de recherche pouvaient tout de même trouver l’emplacement de la sitemap à partir du fichier robots.txt de votre site (compte tenu que celui était lu par défaut par les moteurs de recherche).

(REMARQUE: la soumission de sitemap est toujours effectuée sur la plupart des moteurs de recherche autorisant la soumission d’URL)

En conséquence, dès cet instant, le fichier robots.txt est devenu une outil incontournable (dans un contexte de communication avec les moteurs de recherche) car il permettait, en dehors de toute forme de listing, d’ouvrir la voie aux robots d’indexation des moteurs de recherche permettant ainsi l’exploration et l’indexation d’un site web auquel il est associé. D’où l’importance du Robots.txt et son optimisation !

Quelle sitemap sera ajoutée par le plugin dans le robots.txt ?

Le plugin Better Robots.txt a été fonctionner en parfaite harmonie avec le plugin YOAST SEO (probablement le meilleur plugin SEO sur WordPress) si, et seulement si celui-ci est installé (et activé) et que la fonctionnalité sitemap est également activée.

Better Robots.txt détectera votre configuration et ajoutera votre URL d’index de Sitemap (sitemap_index.xml) contenant tous vos sitemaps (page, post, catégorie, etc.) dans le fichier Robots.txt.

Une fois activé, le plugin Better Robots.txt l’ajoutera automatiquement.

Toutefois, si vous souhaitez utiliser une autre sitemap (à partir d’un autre plugin SEO / sitemap), il vous suffit simplement de la copier-coller dans le champ vide dédié aux sitemaps et de sauvegarder votre configuration.

Aussi simple que ça !

Comment ajouter plus d'instructions dans le fichier robots.txt ?

Quand nous avons conçu ce plugin, nous avons pensé que vous pourriez vouloir ajouter des informations supplémentaires dans votre fichier robots.txt (afin soit de spécifier quelques instructions, ou d’en rajouter tout dépendant de votre configuration). Voilà pourquoi, nous avons créé un accès « Règles personnalisées » au contenu du robots.txt.


NOTE: Assurez-vous de ne pas supprimer ou d’ajouter du contenu si vous n’êtes pas en connaissance des règles à respecter concernant ce fichier. Le robots.txt joue un rôle plus que névralgique pour la santé de votre site web et toute mauvaise pratique pourrait entraîner de sérieux problèmes d’indexation avec les moteurs de recherche (et donc une perte significative de référencement).

En outre, vous devez faire attention à une chose lorsque vous ajoutez manuellement votre URL de Sitemap au fichier robots.txt…

  • D’abord, il est conseillé d’ajouter la mention « Sitemap » avec l’URL du sitemap dans votre robots.txt. Pensez toujours à consulter les outils Google pour les webmasters afin de détecter d’éventuelles erreurs (environ une semaine après la mise à jour de votre fichier robots.txt).
  • Ensuite, pensez aussi à laisser un espace après la ligne de l’URL du sitemap et tout autre forme d’instructions dans le robots.txt.

Nous donner un review ? Notre équipe aime particulièrement travailler avec des experts ainsi que des journalistes partout dans le monde pour partager leur expérience à propos de nos produits.

Si vous êtes intéressé à écrire une avis/review à propos du plugin Better Robots.txt,
nous pourrions vous offrir une licence gratuite (!).

Envoyez-nous un email à [email protected] pour prendre contact avec notre équipe.

support

Des milliers de personnes et
d'entreprises utilisent Better Robots.txt