Testez et optimisez votre robots.txt

Faites un test gratuit pour repérer les problèmes de configuration et les améliorations utiles. Entrez votre domaine, consultez le rapport et découvrez quoi ajuster.

Si votre politique IA existe déjà sous un chemin personnalisé, indiquez son URL publique sur le même domaine ou son chemin, par exemple /ai-policy/.

Que voulez-vous autoriser sur votre site ?

Choisissez l’objectif qui correspond à votre site. Les recommandations seront adaptées à cet objectif.

Aidez-moi à choisir mon profil d’intention Quatre questions peuvent recommander un profil existant avant l’audit.

Répondez à quelques questions pour trouver une option adaptée. Vous pourrez la modifier avant de lancer le test.

Voulez-vous que les moteurs de recherche classiques puissent explorer votre site ?
Voulez-vous déclarer une restriction contre l’entraînement IA sur votre contenu ?
Voulez-vous permettre les crawlers utilisés pour des réponses ou recherches IA, lorsque cela sert la découvrabilité ?
Quelle est votre priorité principale ?

Cette aide sélectionne un des profils disponibles. Vous pouvez vérifier et modifier ce choix avant le test.

Gratuit. Sans inscription. Les résultats complets sont mis en cache brièvement par domaine. Le score précédent est conservé jusqu’à 30 jours pour afficher la progression, plus des tentatives diagnostiques de courte durée pour la fiabilité. Les statistiques long terme sont agrégées et anonymisées.

Ce qu’on vérifie

1

Présence et validité

Le robots.txt est-il accessible ? La syntaxe est-elle valide ? Votre sitemap est-il référencé ?

2

Couverture des crawlers IA

GPTBot, ClaudeBot, Google-Extended, PerplexityBot et 16 autres sont-ils traités explicitement ?

3

Signaux IA modernes

llms.txt, ai-manifest.json, gouvernance .well-known/, politique d’usage IA, distinction entraînement / récupération.

4

Hygiène

Pas de Disallow: / accidentel, pas de directives obsolètes, pas de sur-ingénierie.

Passez du diagnostic aux améliorations

Consultez les points signalés dans le rapport, ajustez vos réglages, puis refaites le test pour vérifier votre robots.txt publié.