Aller au contenu principalSkip to content

Publicités ChatGPT : comprendre pourquoi votre site est inaccessible ​

Une page qui s’affiche dans votre navigateur peut rester inaccessible à un robot publicitaire. Pour trouver la cause, il faut examiner séparément l’URL de destination, les règles robots.txt et la réponse HTTP reçue par la requête de diagnostic.

Commencez par l’adresse complète utilisée dans l’annonce, avec ses paramètres et ses redirections. Relevez ensuite le statut obtenu, l’heure du contrôle et l’agent utilisateur présenté. Une règle permissive accompagnée d’une réponse 403 oriente le diagnostic vers une restriction d’accès à faire examiner par l’hébergeur ou l’équipe de sécurité.

La méthode ci-dessous aide à localiser le problème. Elle ne suppose pas qu’un simple réglage du plugin puisse supprimer un blocage serveur. Tous les exemples utilisent le domaine fictif example.com.

Pour commencer : ce que vous observez et qui corrige ​

Ce que vous observezCe que cela établitPreuves à recueillirQui corrige habituellement
robots.txt refuse le chemin de l’annonce à OAI-AdsBotUn refus déclaratif pour cette URLLe résultat du vérificateur et la règle déterminanteLa personne qui gère robots.txt. Dans Better Robots.txt : l’étape 11 (Publicités ChatGPT), la règle personnalisée de l’étape 13 ou, en Pro, la liste Crawlers IA personnalisés de l’étape 2
Aucun groupe ne nomme OAI-AdsBotAucune règle dédiée ; le groupe général * s’appliqueLe résultat du vérificateur pour le chemin exactPersonne, sauf si le groupe général refuse le chemin
robots.txt autorise le chemin, mais une requête de test reçoit une erreur 403Un refus au niveau HTTP, malgré la politique, observé depuis votre point de testStatut, heure et fuseau horaire, agent utilisateur, identifiant de requête, titre de la page d’erreurVotre hébergeur, votre CDN ou votre équipe de sécurité
Erreur 401, ou page de connexion servie avec le statut 200La page exige une authentificationURL finale et copie de la page reçueVous ou votre développeur : protection de préproduction, extension d’adhésion ou de maintenance
Statut 200 avec une page de défi ou un corps videUne réponse est arrivée, mais le contenu attendu n’est pas établiTitre de la page, taille de la réponse, référence du défi le cas échéantVotre CDN ou votre service de protection antibot
Erreur 404 à l’URL finaleLa destination n’existe pas pour cette requêteLa chaîne complète de redirectionsVous ou votre équipe marketing : corriger l’URL ou la redirection
Erreur 429Une limitation de débit a été observéeHeure, nombre de requêtes, en-tête Retry-After s’il existeLes règles de limitation de votre hébergeur ou de votre CDN
Redirection vers l’accueil, une page de connexion ou le site d’un autre paysLe robot risque de ne jamais atteindre le contenu annoncéChaque en-tête Location de la chaîneVous, votre CDN ou l’extension qui redirige
/robots.txt renvoie une erreur 5xx ou ne répond pasLes robots doivent alors considérer tout le site comme refusé (RFC 9309)Statut de /robots.txt et heure du testVotre hébergeur
Délai dépassé ou erreur réseau pendant votre testLe test est incompletHeure, message d’erreur, réseau utilisé pour le testRefaire le test plus tard ; votre hébergeur si le problème persiste

1. Déterminer l’URL exacte de l’annonce ​

Testez l’adresse réellement utilisée par l’annonce, pas votre page d’accueil.

  • L’URL de destination complète, avec ses paramètres. Le guide de création d’annonces d’OpenAI permet d’ajouter des paramètres de suivi, comme des balises UTM, à l’URL de destination, et les règles robots.txt peuvent viser des chaînes de requête.
  • L’hôte final après les redirections. De http à https, de example.com à www.example.com ou vers un site régional : robots.txt s’applique hôte par hôte, lisez donc le fichier de l’hôte qui sert la page.
  • Chaque redirection. Une chaîne qui aboutit à une page de connexion, à une erreur 404 ou au site d’un autre pays peut tenir le robot à l’écart du contenu annoncé.
  • Les ressources nécessaires à la page. Feuilles de style, scripts et images peuvent se trouver sur un autre chemin ou un autre hôte, avec d’autres règles.

Chaque annonce mène à une seule destination : une URL suffit pour commencer.

2. Vérifier la règle robots.txt de cette URL ​

Lancez le vérificateur OAI-AdsBot avec votre hôte et le chemin de l’annonce. Il indique la règle qui s’applique à OAI-AdsBot et à OAI-SearchBot, les deux agents utilisateurs que nomme le guide de création d’annonces d’OpenAI.

  • Refusé : corrigez d’abord la règle. Avec Better Robots.txt, le guide sur les publicités ChatGPT et robots.txt explique les trois options de l’étape 11.
  • Autorisé, par un groupe qui nomme OAI-AdsBot ou par le groupe général : robots.txt n’est pas l’obstacle. Passez à l’étape 3.
  • Indéterminé : /robots.txt n’a pas pu être lu en entier. Corrigez d’abord sa diffusion. Une erreur 5xx sur ce fichier conduit les robots à considérer tout le site comme refusé.

3. Comparer des requêtes GET explicites ​

Envoyez la même requête deux fois depuis un terminal : une fois comme un client ordinaire, une fois en présentant la chaîne d’agent utilisateur OAI-AdsBot publiée par OpenAI. Ne testez que des sites dont vous êtes responsable. Les commandes ci-dessous utilisent la syntaxe bash.

bash
URL="https://example.com/offers/spring-sale/?utm_source=chatgpt"
UA="Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot"

# 1. Requête ordinaire : statut, nombre de redirections, adresse finale
curl -sS -L -o /dev/null -w "%{http_code} %{num_redirects} %{url_effective}\n" "$URL"

# 2. Même requête, en présentant l’agent utilisateur OAI-AdsBot
curl -sS -L -o /dev/null -w "%{http_code} %{num_redirects} %{url_effective}\n" -A "$UA" "$URL"

# 3. En-têtes de réponse de cette requête (cherchez un identifiant de requête)
curl -sS -L -D - -o /dev/null -A "$UA" "$URL"

# 4. robots.txt avec le même agent utilisateur
curl -sS -o /dev/null -w "%{http_code}\n" -A "$UA" "https://example.com/robots.txt"

Pour chaque requête, notez l’heure et votre fuseau horaire, le code de statut, l’adresse finale et tout identifiant de requête affiché dans les en-têtes ou sur la page d’erreur.

Une chaîne d’agent utilisateur ne prouve pas une identité. Votre test n’est pas OpenAI, même avec le même agent utilisateur. Une erreur 403 qui n’apparaît qu’avec la chaîne OAI-AdsBot laisse fortement penser à une règle qui vise cet agent utilisateur. Un statut 200 ne prouve pas que le vrai robot passe : un pare-feu peut aussi filtrer par adresse IP, et les services qui vérifient les robots traitent autrement une requête venue de votre ordinateur. OpenAI publie les plages d’adresses IP d’OAI-AdsBot à openai.com/adsbot.json. Cette liste peut changer : une liste d’autorisation devrait la lire à la source plutôt que la recopier une fois pour toutes.

4. Lire la réponse ​

RéponseCe qu’elle signifie habituellement pour le robot
403 ForbiddenLe serveur, le CDN, le pare-feu ou une extension de sécurité a refusé la requête. Une page d’erreur titrée avec un nom de serveur, comme nginx ou Apache, indique le logiciel qui a produit la page, pas la règle ni le composant qui a pris la décision.
401 UnauthorizedLa page demande des identifiants : protection de préproduction, authentification de base ou espace réservé aux membres.
404 Not FoundL’URL, ou l’une de ses redirections, mène à une page qui n’existe pas.
429 Too Many RequestsUne limite de débit s’est appliquée. Cherchez un en-tête Retry-After.
301, 302, 307 ou 308Une redirection. Suivez-la jusqu’au bout : c’est le contenu à l’adresse finale qui compte.
200 avec un défiUn défi JavaScript ou CAPTCHA a remplacé la page. La requête a reçu une réponse, mais pas votre contenu.
200 avec un corps vide ou sans rapportLe statut semble correct, mais le contenu attendu n’a pas été livré. Comparez la taille et le titre avec ce que reçoit un navigateur.
5xxLe serveur a échoué. Sur /robots.txt, les robots doivent alors considérer que tout est refusé.

5. Trouver la couche qui a refusé la requête ​

Le refus vient généralement de l’une de quatre couches. Les exemples ci-dessous sont des pistes, pas des configurations à copier : chaque produit nomme et ordonne ses règles à sa façon, et une règle copiée ailleurs peut ouvrir plus que prévu.

  • WordPress. Une extension de sécurité ou de pare-feu dotée de listes de « mauvais robots » ou de robots IA, un mode maintenance ou « bientôt disponible », une extension d’adhésion, une redirection par géolocalisation. Pour robots.txt lui-même, vérifiez si WordPress est réglé pour demander aux moteurs de recherche de ne pas indexer le site, et si un fichier robots.txt physique se trouve à la racine du site, où il a priorité sur le fichier généré par WordPress.
  • Serveur web. Des règles qui refusent les requêtes selon un motif d’agent utilisateur, un module de pare-feu applicatif, ou des règles d’accès dans un fichier .htaccess ou dans la configuration du serveur.
  • CDN ou service de pare-feu. Gestion des robots, défis gérés, options qui bloquent les robots IA, limitation de débit, règles par pays.
  • Plateforme d’hébergement. Une protection antibot ou des limites de ressources appliquées à toute la plateforme, avant même que votre site voie la requête.

Lorsque vous demandez une exception, privilégiez les fonctions de vérification des robots de votre fournisseur, ou la liste d’adresses IP publiée par OpenAI tenue à jour, plutôt qu’une règle qui se fie à la seule chaîne d’agent utilisateur. N’importe qui peut copier un agent utilisateur.

6. Envoyer une demande précise à votre hébergeur ​

Copiez ce modèle et remplissez chaque ligne. Une demande précise évite un aller-retour.

txt
Objet : les requêtes qui présentent l’agent utilisateur OAI-AdsBot reçoivent une erreur 403

Domaine : example.com
URL exacte testée : https://example.com/offers/spring-sale/?utm_source=chatgpt
Date, heure et fuseau horaire : 2026-11-20, 14 h 05 (UTC-5)
Agent utilisateur présenté : Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot
Statut reçu : 403 (une requête ordinaire de navigateur reçoit 200 au même moment)
Identifiant de requête ou référence : (dans les en-têtes de réponse ou sur la page d’erreur)
Règle en cause, si elle est connue : (par exemple, une règle antibot ou une règle sur l’agent utilisateur)
robots.txt : autorise ce chemin pour OAI-AdsBot (vérifié avec le vérificateur OAI-AdsBot)

Demande : pouvez-vous identifier la règle qui a refusé cette requête et autoriser
OAI-AdsBot sur cette page de destination, idéalement par les fonctions de vérification
des robots ou la liste d’adresses IP publiée par OpenAI (https://openai.com/adsbot.json)
plutôt que par le seul agent utilisateur ?

7. Refaire les contrôles, puis demander un nouvel examen ​

  1. Une fois la modification faite, refaites les requêtes de l’étape 3 et la vérification robots.txt de l’étape 2.
  2. Dans Ads Manager d’OpenAI, consultez le statut de l’annonce. Le guide de dépannage d’OpenAI explique que la raison s’affiche au survol d’une annonce marquée « Not serving » (non diffusée).
  3. Modifiez l’annonce et soumettez-la de nouveau à l’examen, ou demandez un nouvel examen si vous estimez que l’annonce a été refusée par erreur.
  4. Si vous contactez le soutien d’OpenAI, son guide de dépannage cite des renseignements utiles : l’URL de destination, le code ou le message de refus, et l’heure à laquelle vous avez reçu l’avis.

La documentation des robots d’OpenAI n’indique aucun délai pour OAI-AdsBot. C’est la nouvelle soumission de l’annonce, ou la demande d’un nouvel examen, qui demande à OpenAI d’examiner la page de nouveau.

Un exemple fictif : règles permissives, requêtes refusées ​

Ce scénario est inventé pour illustrer la méthode. Il ne décrit ni un site réel ni un cas réel.

Une boutique fictive annonce https://example.com/offers/spring-sale/?utm_source=chatgpt, et l’annonce est refusée.

  1. Vérificateur : OAI-AdsBot et OAI-SearchBot sont autorisés par le groupe général *. Le fichier robots.txt n’est pas en cause.
  2. Navigateur : la page s’ouvre normalement.
  3. Requêtes de test : la requête ordinaire renvoie 200. La requête qui présente l’agent utilisateur OAI-AdsBot renvoie 403 avec une page générique « 403 Forbidden », et le même agent utilisateur reçoit aussi 403 sur /robots.txt.
  4. Lecture : la politique publiée est permissive, mais une règle placée devant WordPress refuse les requêtes qui présentent cet agent utilisateur. La page d’erreur indique le logiciel qui l’a produite ; elle ne prouve pas quel composant a décidé.
  5. Suite : la boutique envoie le modèle de l’étape 6 à son hébergeur. Une fois la règle modifiée par l’hébergeur, elle refait les tests et soumet de nouveau l’annonce.

Modifier une option de Better Robots.txt ne réglerait pas ce cas : le refus se produit avant que WordPress n’intervienne.

Ce que Better Robots.txt peut faire, et ce qu’il ne peut pas faire ​

Il peut :

  • publier les règles robots.txt que vous choisissez pour OAI-AdsBot, avec un aperçu avant l’enregistrement ;
  • garder ce choix séparé de ceux qui concernent OAI-SearchBot, GPTBot et ChatGPT-User ;
  • signaler les conflits avec vos règles personnalisées avant qu’ils n’atteignent le fichier public ;
  • dire clairement ce qu’il ne vérifie pas.

Il ne peut pas :

  • modifier une réponse décidée par votre serveur, votre CDN, votre pare-feu ou votre hébergeur ;
  • envoyer des requêtes de test à vos pages : le plugin n’envoie aucune sonde HTTP ;
  • confirmer que le vrai robot d’OpenAI a atteint votre page, ni qu’une annonce sera approuvée.

Sources ​

Vérifiées le 20 novembre 2026.

Better Robots.txt n’est ni affilié à OpenAI ni approuvé par OpenAI. OpenAI et ChatGPT sont nommés ici uniquement pour identifier le système concerné.

Pages liées ​

Ces guides vous sont utiles ?

Ajouter à mes sources Google