Protection contre les mauvais robots

Emplacement : Étape 4 — Protection contre les mauvais robots

Cette étape active les listes organisées de mauvais robots utilisées par Better Robots.txt.

Contrôles

• Enable Bad Bots Protection
• Use Full AI-Curated List

Éditions

• Gratuit : liste basique
• Pro / Premium : liste plus large

Ce que cela change

Activer cette étape ajoute des blocages explicites pour des agents indésirables ou de faible valeur.

Pourquoi cela compte

C’est l’un des moyens les plus directs de réduire le bruit crawler, le scraping de faible valeur, et des hits serveur inutiles sans couper toute découverte.