Matrice URL × bot expliquée

La matrice URL × bot de /check répond à une question précise :

Selon le robots.txt de ce site, ce bot peut-il accéder à cette URL précise ?

Ce n’est pas un score global. C’est un test d’accès au niveau de l’URL.

Ce que la matrice teste

La matrice teste des URL sélectionnées contre des user-agents comme :

• Googlebot ;
• Bingbot ;
• GPTBot ;
• OAI-SearchBot ;
• ClaudeBot ;
• Claude-SearchBot ;
• PerplexityBot ;
• Google-Extended.

Pour chaque combinaison, elle indique si l’accès est autorisé ou bloqué selon le matching robots.txt.

Ce qui la distingue d’un simple test de présence

Un test de présence demande seulement :

GPTBot est-il mentionné quelque part ?

La matrice demande :

Pour cette URL, quel groupe a été utilisé ?
Quelle règle a gagné ?
L’accès est-il autorisé par défaut, explicitement autorisé ou bloqué ?

Cette distinction compte, parce qu’un site peut mentionner un bot tout en autorisant ou bloquant certains chemins via des groupes génériques, des wildcards et des règles plus spécifiques.

Explication de la règle gagnante

Un bon résultat URL × bot devrait afficher :

Bot : GPTBot
URL : /blog/example/
Décision : bloqué
Groupe utilisé : User-agent: GPTBot
Règle gagnante : Disallow: /
Ligne : numéro de ligne dans robots.txt, si disponible

Cela rend l’audit explicable, pas seulement visuel.

Ce que la matrice ne prouve pas

La matrice ne prouve pas qu’un bot a réellement visité l’URL.

Elle ne prouve pas l’obéissance des crawlers.

Elle ne remplace pas les logs serveur.

Elle ne remplace pas la vérification des bots.

Elle affiche la décision d’accès déclarée par les règles publiques du robots.txt au moment du scan.

Relation avec les profils Better Robots

La matrice répond à la question d’accès.

Le profil de gouvernance répond à la question d’intention.

Ensemble, ils permettent à Better Robots de dire :

Ce bot peut accéder à cette URL.
Cet accès est aligné, désaligné ou neutre pour le profil sélectionné.

C’est ce qui distingue Better Robots d’un validateur robots.txt plat.