Better Robots.txt La manière la plus simple & la plus facile de booster l'indexation et le référencement de votre site Web.

Le plugin Better Robots.txt a été conçu pour fonctionner en parfaite harmonie avec le plugin Yoast SEO (probablement LE meilleur plugin SEO pour sites WordPress) mais aussi tout autre générateur de sitemap. Il permet en effet de détecter si vous utilisez effectivement Yoast SEO, si la fonctionnalité permettant de générer des sitemaps est activée ou tout autre sitemap présente sur votre site.

Si oui, alors il ajoutera automatiquement une instruction dans le fichier Robots.txt demandant aux robots d’exploration de lire en tout temps la (ou les) sitemap)s) en question afin de vérifier si vous avez fait des modifications récentes sur votre site Web (vos pages, articles, produits), afin qu’ils puissent indexer le nouveau contenu.

Si vous souhaitez ajouter votre propre sitemap (ou si vous utilisez un autre plugin SEO autre que YOAST), il vous suffit de copier-coller l’URL de la sitemap dans le champ disponible et Better Robots.txt l’ajoutera en bonne et due forme à votre fichier Robots.txt.

Le plugin Better Robots.txt, entre autres fonctionnalités, permet d’un clic, d’injecter une centaine d’instructions dans le robots.txt permettant de bloquer une liste de robots malveillants, les empêchant ainsi à la fois d’explorer votre site et de récupérer de vos données.

Dans le domaine de « tout ce qui peut explorer un site web », de manière autonome ou pas, il y a les « bons » robots et les « mauvais » robots. Les bons robots, comme GoogleBot par exemple, explorent votre site à des fins d’indexation pour les moteurs de recherche. Toutefois, d’autres robots explorent votre site pour des raisons plus obscures telles que la copie de votre contenu (texte, prix, …) à des fins de republication, le téléchargement d’archives entières ou même l’extraction de vos images à des fins commerciales (revente). Certains robots, très voraces, sont même responsables d’avoir littéralement « planté » des sites web (et serveurs) tellement l’exploration était brutale et bien au-delà de ce qui normalement autorisé.

Grâce à cette fonctionnalité (complètement automatisée), Better Robots.txt vise à protéger votre site Web contre une certain nombre de robots d’exploration (scrapers), parmi les plus connus et identifiés comme malveillant par Distil Networks. Nous fournirons avec le temps (au fur et à mesure des mises à jour) une liste toujours plus complète et détaillée des robots malveillants bloqués par Better Robots.txt.