Vérifier votre politique OAI-AdsBot
Vérifiez la règle robots.txt applicable à OAI-AdsBot pour votre page de destination. Saisissez votre site et la page utilisée dans votre annonce pour connaître le groupe correspondant, la règle déterminante et le résultat de l’analyse déclarative.
Un résultat « autorisé selon robots.txt » indique ce que le fichier demande aux robots coopératifs. Il ne prouve pas qu’un pare-feu laisse passer la requête. Ce vérificateur n’envoie aucune requête à votre page de destination : l’accès HTTP reste donc non vérifié.
Vous préférez partir du testeur lui-même ? Ouvrez le testeur d’URL publicitaire et saisissez votre site sur place.
Ce que teste le vérificateur
Le formulaire et le lien ouvrent le testeur d’URL de l’audit gratuit Better Robots avec l’ensemble d’agents utilisateurs advertising (publicité). Il en teste deux :
OAI-AdsBot, le robot qu’OpenAI utilise pour examiner les pages de destination soumises comme annonces dans ChatGPT ;OAI-SearchBot, que le guide de création d’annonces d’OpenAI nomme à côté d’OAI-AdsBot parmi les agents utilisateurs que les pages de destination ne doivent pas bloquer.
GPTBot ne fait pas partie de cet ensemble. C’est le robot d’entraînement d’OpenAI, et sa règle relève d’un choix distinct.
Pour chaque chemin, le testeur récupère /robots.txt sur l’hôte saisi, sélectionne le groupe qui s’applique à chaque robot et applique la norme robots.txt, la RFC 9309 : les règles sont comparées au chemin et à sa chaîne de requête, la règle correspondante la plus longue l’emporte, et Allow l’emporte en cas d’égalité. Le résultat donne la décision pour chaque robot et chaque chemin, la règle qui l’a déterminée et l’origine de cette règle.
Utilisez l’hôte final de votre page de destination. www.example.com et example.com peuvent servir des fichiers robots.txt différents, et lorsque l’un redirige vers l’autre, le robot finit par lire le second. Si vous devez partager le résultat, notez la date et l’heure de votre vérification.
Lire le résultat
| Résultat | Ce qu’il signifie | Que faire |
|---|---|---|
| Autorisé par un groupe qui nomme OAI-AdsBot | Votre robots.txt contient un groupe pour OAI-AdsBot, et ses règles autorisent ce chemin. | Rien côté robots.txt. Si l’annonce est encore refusée, examinez la couche HTTP. |
Autorisé par le groupe général * | Aucun groupe ne nomme OAI-AdsBot : le robot suit User-agent: *, qui autorise ce chemin. Ce n’est pas un blocage. | Facultatif : choisissez Autoriser les pages publiques selon les exclusions du site dans Better Robots.txt si vous voulez une règle explicite qui reprend vos règles générales. |
| Autorisé faute de groupe applicable | Le fichier ne contient ni groupe pour OAI-AdsBot ni groupe User-agent: * : aucune règle ne s’applique. | Rien côté robots.txt, sauf si vous vouliez publier des règles. |
| Refusé | Une règle Disallow l’emporte pour ce chemin, soit dans le groupe qui nomme OAI-AdsBot, soit, si aucun groupe ne le nomme, dans le groupe général. La règle déterminante est affichée. | Modifiez la règle s’il s’agit de la page utilisée dans votre annonce. Voyez que faire si OAI-AdsBot est refusé. |
| Indéterminé | Le testeur n’a pas pu lire un robots.txt complet : fichier indisponible, injoignable, redirigé trop souvent ou vers une destination que le testeur ne suit pas, ou plus long que la quantité lue. | Corrigez la diffusion de /robots.txt, puis vérifiez de nouveau. Les détails suivent. |
| Réponse HTTP : non vérifiée | Le testeur ne demande pas votre page de destination. | Faites vous-même un test HTTP avec le guide de dépannage des publicités ChatGPT. |
| Accès par un robot OpenAI vérifié : non vérifié | Aucun outil public ne peut confirmer que le vrai robot d’OpenAI atteint votre page. | Consultez vos journaux de serveur ou de CDN si vous avez besoin de cette preuve. |
Aucun de ces résultats ne confirme un accès par OpenAI ni l’approbation d’une annonce. Ils décrivent les règles que votre site publie.
Quand le résultat est indéterminé
La norme robots.txt précise ce qu’un robot doit faire lorsqu’il ne peut pas lire le fichier. Ce comportement de repli n’est jamais une règle que vous avez publiée, et il ne dit rien de la réponse de votre page de destination.
Ce qui est arrivé à /robots.txt | Ce que la RFC 9309 prévoit pour un robot | Comment le lire |
|---|---|---|
| Un statut 4xx comme 403 ou 404 : le fichier est « indisponible » | Le robot peut accéder à toutes les ressources du site. | Aucune politique n’a été lue. Une erreur 403 sur /robots.txt signifie souvent que la même protection bloque aussi vos pages. |
| Un statut 5xx ou une panne réseau : le fichier est « injoignable » | Le robot doit considérer que tout est refusé. | Traitez-le comme un blocage tant que le fichier ne se charge pas de nouveau. |
| Plus de cinq redirections consécutives | Le robot peut considérer le fichier comme indisponible. | Servez /robots.txt à son adresse finale, ou avec moins de redirections. |
| Une redirection que le testeur a cessé de suivre | Aucune règle n’a été lue. | Vérifiez où /robots.txt redirige et pourquoi. |
| Un fichier plus long que la quantité lue par le testeur (environ 500 Kio) | Un robot qui limite la quantité analysée doit en lire au moins 500 kibioctets ; le contenu situé au-delà de sa limite peut être ignoré. | Raccourcissez le fichier : les règles situées après la limite n’ont pas été évaluées. |
Pour les développeurs : le même résultat en JSON
Ajoutez format=json à l’adresse du testeur pour recevoir la matrice en JSON. Chaque cellule indique l’origine de sa décision dans policy_source (explicit_group, wildcard_fallback, default ou unavailable) et le type de groupe correspondant dans matched_group_kind. Un objet robots_fetch indique comment /robots.txt a été récupéré et quel repli de la RFC 9309 s’applique. Ses champs landing_page_http et verified_openai_access valent toujours not_verified.
Si OAI-AdsBot est refusé
Dans WordPress, avec Better Robots.txt 3.1.8 ou une version ultérieure :
- Ouvrez l’étape 11, Publicité et revenus, section Publicités ChatGPT.
- Choisissez Autoriser les pages publiques selon les exclusions du site. Le plugin ajoute un groupe OAI-AdsBot qui reprend vos règles générales, sans ouvrir les chemins que vous excluez pour tous les robots.
- Si le plugin signale un conflit, ouvrez la règle personnalisée qui nomme OAI-AdsBot, souvent à l’étape 13, Réglages avancés, et résolvez-la à cet endroit.
- Lisez l’aperçu à l’étape 14, Vérifier et enregistrer, enregistrez, puis relancez cette vérification.
Si la règle déterminante vient de votre groupe général, par exemple Disallow: /offers/, la page de destination est exclue pour tous les robots. Décidez si cette exclusion est toujours voulue : le réglage des publicités ChatGPT ne la contournera pas.
Sur une autre plateforme, modifiez robots.txt à la main. Supprimez ou restreignez le groupe qui refuse OAI-AdsBot, ou donnez-lui les mêmes règles que votre groupe général. Évitez un simple Allow: /, qui ouvrirait tout ce que le groupe général ferme. Le guide sur les publicités ChatGPT et robots.txt explique pourquoi, exemple à l’appui.
Better Robots.txt Pro, à partir de la version 3.1.8, peut aussi importer une recommandation de l’audit qui autorise OAI-AdsBot. Vous voyez un aperçu avant toute application, et l’audit ne recommande jamais de refuser OAI-AdsBot.
Vérifier la règle à la main
Vous pouvez reproduire la décision avec le fichier lui-même. Ouvrez le robots.txt de votre site, par exemple https://example.com/robots.txt, et suivez trois étapes.
- Repérez tous les groupes dont une ligne
User-agentnommeOAI-AdsBot, quelle que soit la casse. Plusieurs groupes pour le même robot comptent comme un seul. S’il n’y en a aucun, utilisez le groupeUser-agent: *. S’il n’y a ni l’un ni l’autre, aucune règle ne s’applique et le chemin est autorisé. - Dans ce groupe seulement, repérez les règles
AllowetDisallowdont le chemin correspond au début du chemin de votre URL, chaîne de requête comprise.*correspond à n’importe quelle suite de caractères, et$marque la fin de l’adresse. - La règle correspondante la plus longue l’emporte. Si une règle
Allowet une règleDisallowont la même longueur,Allowl’emporte. Sans règle correspondante, le chemin est autorisé.
Un piège fréquent, dans un fichier fictif :
User-agent: *
Disallow: /private/
User-agent: OAI-AdsBot
Allow: /offers/| Chemin | Décision pour OAI-AdsBot | Pourquoi |
|---|---|---|
/offers/spring-sale/ | Autorisé | Allow: /offers/ correspond |
/private/report/ | Autorisé | Le groupe OAI-AdsBot n’a aucune règle pour ce chemin, et il n’hérite de rien du groupe User-agent: * |
/ | Autorisé | Aucune règle ne correspond |
L’auteur voulait sans doute garder /private/ fermé. Comme un groupe qui nomme un robot remplace le groupe général pour ce robot, /private/ est ouvert à OAI-AdsBot. C’est pourquoi Better Robots.txt reprend vos règles générales dans le groupe OAI-AdsBot au lieu d’écrire une seule ligne Allow.
Ce que le vérificateur envoie
Le testeur ne demande que le fichier public /robots.txt de l’hôte saisi. Il ne se présente pas comme un robot d’OpenAI et ne visite pas votre page de destination. La politique de données de l’audit décrit ce qu’il enregistre.
Better Robots.txt n’est ni affilié à OpenAI ni approuvé par OpenAI. OpenAI et ChatGPT sont nommés ici uniquement pour identifier les robots testés.
Pages liées
- Publicités ChatGPT et robots.txt : les trois options du plugin et un exemple avant et après.
- Publicités ChatGPT : site inaccessible : lorsque les règles autorisent le robot, mais que le serveur le refuse.
- Les robots d’OpenAI comparés : publicité, recherche, entraînement et accès à la demande.
- Vérificateur OAI-SearchBot : le robot de recherche nommé à côté d’OAI-AdsBot.
- Matrice URL × bot expliquée : comment le testeur décide pour chaque chemin.
- Réglage de l’étape 11 : Publicité et revenus dans le plugin.