Ce que Better Robots /check fait et ne fait pas

Better Robots /check est un audit de gouvernance crawler. Il répond à une question précise :

Ce site public exprime-t-il une posture cohérente envers les crawlers, les systèmes IA, les règles robots.txt, les fichiers de guidage et les signaux de gouvernance lisibles par machine ?

Ce n’est pas un audit SEO généraliste. Ce n’est pas un outil de suivi de visibilité IA. Ce n’est pas un pare-feu. Ce n’est pas le plugin WordPress en exécution.

Lancer l’audit gratuitPlugin vs /checkDéclaration vs blocage

Ce que /check audite

/check évalue les signaux publics directement liés à la gouvernance du crawl et de l’usage IA :

• présence, disponibilité, syntaxe, sitemaps et risques courants dans robots.txt ;
• accès des crawlers de recherche comme Googlebot et Bingbot ;
• posture envers les crawlers IA selon les familles entraînement, recherche IA et récupération déclenchée par l’utilisateur ;
• matrice URL × bot pour tester une URL précise contre des crawlers sélectionnés ;
• signaux de guidage lisibles par machine, dont llms.txt, politiques IA, ai-manifest.json et pointeurs .well-known ;
• hygiène de crawl WordPress lorsqu’un stack WordPress est détecté ;
• adéquation à un profil d’intention, par exemple « recherche IA ouverte, entraînement restreint ».

L’audit est volontairement ciblé. Sa force n’est pas d’être large. Sa force est d’être précis sur la gouvernance crawler.

Ce que /check génère

Selon le stack détecté et les signaux publics disponibles, /check peut produire plusieurs artefacts :

Sortie	Rôle	Limite importante
Rapport d’audit	Diagnostic humain et priorités	Un rapport ne prouve pas l’obéissance des crawlers
Matrice URL × bot	Montre l’accès théorique selon le matching robots.txt	Elle ne prouve pas ce qu’un bot a réellement fait dans les logs
JSON Better Robots	Recommandations pour un futur import WordPress	Devient état runtime seulement après import, prévisualisation et application
Rapport Markdown	Handoff technique pour développeur ou agent	C’est un plan, pas un changement serveur automatique
Brouillon llms.txt	Carte de sources en anglais générée depuis les signaux publics	Doit être relu avant publication

Ce que /check aide à corriger sur WordPress

/check est lié au plugin WordPress Better Robots.txt, mais ce n’est pas le plugin.

Le flux visé est :

1. auditer un domaine public avec /check ;
2. choisir ou confirmer un profil d’intention ;
3. générer des artefacts de recommandation ;
4. importer ou appliquer les recommandations prises en charge dans Better Robots.txt PRO si le site utilise WordPress ;
5. relancer un audit pour vérifier la posture publique obtenue.

C’est la boucle produit. L’audit est la couche externe de diagnostic. Le plugin est la couche d’application WordPress.

Ce que /check ne garantit pas

/check ne garantit pas :

• l’obéissance des crawlers ;
• la conformité juridique ;
• l’exclusion universelle de l’entraînement IA ;
• la citation par des IA ;
• le classement IA ;
• le trafic ;
• la visibilité IA en aval ;
• le blocage de niveau pare-feu ;
• l’application serveur ;
• la santé SEO complète ;
• la récupération réelle par un modèle ou une mention de marque.

robots.txt et les fichiers de gouvernance sont des déclarations publiques. Ils sont utiles parce qu’ils réduisent l’ambiguïté et orientent les systèmes coopératifs. Ils ne remplacent pas les règles WAF, la vérification des bots, les contrôles serveur, les conditions juridiques ni l’analyse des logs.

Quand utiliser un autre outil

Utilisez Google Search Console pour savoir comment Google voit une propriété vérifiée.

Utilisez un validateur robots.txt par URL pour vérifier seulement si une URL est bloquée pour un user-agent.

Utilisez Screaming Frog ou un crawler pour un audit technique massif.

Utilisez un WAF ou des règles serveur pour le blocage technique.

Utilisez un outil de visibilité IA pour mesurer les mentions, citations ou parts de voix dans les réponses de modèles.

Utilisez Lighthouse Agentic Browsing pour vérifier si une page est opérable par des agents de navigateur, par exemple l’accessibilité, la stabilité visuelle, WebMCP ou les affordances interactives.

La version courte

Better Robots /check n’essaie pas de tout faire.

Il audite si la posture crawler et IA d’un site est explicite, cohérente, lisible par machine et actionnable.