Protection contre les outils SEO
Emplacement : Étape 3, Protection contre les outils SEO.
Cette étape bloque des groupes de crawlers d’analyse SEO. Ces outils font partie de la catégorie bots d’outils SEO dans la taxonomie des bots Better Robots.txt : ils crawlent pour faire de la recherche, du monitoring et de la veille concurrentielle, pas pour soutenir la découverte par les utilisateurs.
Ce que cette étape contrôle
Deux bascules, regroupées par tier de crawler :
- Block Basic SEO Tools : couvre les crawlers SEO les plus courants, notamment
SemrushBotetDotBot. - Block Extra SEO Tools : couvre un groupe plus large, notamment
AhrefsBot,MJ12bot,Serpstat,Screaming Froget d’autres.
Les deux bascules émettent des directives Disallow explicites sous chaque user-agent bloqué.
Comment décider
Activez Block Basic SEO Tools si :
- la charge visible des outils SEO courants est non désirée ;
- la visibilité concurrentielle est une préoccupation ;
- aucune raison métier ne justifie de rester crawlable par le tier de base.
Activez Block Extra SEO Tools si :
- une posture plus stricte contre les outils SEO de crawl profond est justifiée ;
- le site a subi du scraping ou de l’extraction agressifs ;
- l’opérateur lui-même n’utilise pas le groupe de crawlers plus large.
Laissez les bascules désactivées si :
- le site (ou son agence) utilise activement certains de ces outils pour de la recherche SEO et les crawlers doivent rester fonctionnels ;
- une découvrabilité partielle via les index SEO apporte de la valeur.
Ce que cette étape ne fait pas
Cette étape :
- n’authentifie pas l’identité des bots SEO (un user-agent peut être usurpé) ;
- n’empêche pas le crawl par des outils qui ignorent
robots.txt; - ne remplace pas les contrôles WAF ou de rate-limit quand le problème est en réalité la charge serveur.
Le bon cadrage : un signal de politique à la couche robots.txt. Les fournisseurs qui respectent robots.txt l’honoreront ; le reste relève de l’infrastructure.
Offre concernée
- Free : le blocage des outils SEO n’est pas exposé.
- Pro / Premium : les deux bascules sont disponibles, avec le groupe de crawlers plus large sur les tiers supérieurs.