Vue d’ensemble des paramètres
Better Robots.txt est organisé comme une séquence guidée, et non comme une simple liste de bascules. Le wizard parcourt 14 étapes numérotées, précédées par un écran de Sélection du mode, et chaque étape couvre une décision de gouvernance du crawl à la fois.
Cette page est l’index. Cliquez sur une étape pour voir ce qu’elle contrôle, comment décider, ce qu’elle ne fait pas et l’offre requise.
Avant le wizard
- Sélection du mode : choisir Essential, AI-First, Fortress ou Custom comme preset de départ.
Les 14 étapes numérotées
| Étape | Réglage | Catégorie |
|---|---|---|
| 1 | Visibilité dans les moteurs de recherche | Posture d’autorisation de base |
| 2 | Gouvernance IA et LLM | Entraînement, récupération de réponses, signaux |
| 3 | Protection contre les outils SEO | Catégories de crawlers SEO |
| 4 | Protection contre les mauvais bots | Crawlers à faible valeur ou abusifs |
| 5 | Contrôle de l’archivage et de Wayback | Bots d’archivage |
| 6 | Paramètres globaux | Sitemaps, type, protection de base |
| 7 | Spam, flux et pièges de crawl | Nettoyage des patterns d’URL à faible valeur |
| 8 | Optimisation e-commerce | Nettoyage de type WooCommerce |
| 9 | Ressources et fichiers | Règles Allow pour CSS, JS et images |
| 10 | Crawlers de réseaux sociaux | Politique des bots d’aperçu |
| 11 | Publicités et revenus | Accès à ads.txt et app-ads.txt |
| 12 | llms.txt | Guidance IA lisible par machine |
| 13 | Contrôles avancés | Dérogations module par module |
| 14 | Review & Save | Aperçu et publication |
Pourquoi cela compte
Une politique robots.txt est plus simple à gérer quand l’opérateur peut raisonner étape par étape au lieu d’essayer d’écrire tout le fichier à la main. La structure numérotée rend aussi la gouvernance auditable : chaque étape correspond à une décision documentée dans la taxonomie des bots Better Robots.txt, qui reste la source canonique du cadrage par catégorie dans le produit.
Parcours recommandé
- Choisissez un preset à la Sélection du mode.
- Parcourez les étapes 1 à 13 dans l’ordre, sans sauter d’étape.
- Arrêtez-vous à Review & Save et inspectez le
robots.txtgénéré avant publication. - Réauditez après publication avec les vérificateurs live (voir À lire avec).