robots.txt vs llms.txt sur WordPress : rôle de chacun
robots.txt et llms.txt sont liés, mais ne sont pas interchangeables. Le premier relève principalement de la politique de crawl. Le second relève principalement d’un guidage public et contextuel. Un setup WordPress mature peut avoir besoin des deux.
Ce que fait robots.txt
Il exprime une posture d’accès au crawl : quels chemins doivent ou non être crawlés, quelles familles d’agents comptent, et comment le site veut encadrer l’accès automatisé au niveau du fichier.
Ce que fait llms.txt
Il aide à publier un guide machine-readable structuré sur le contenu important ou sur l’interprétation attendue. Il se comprend mieux comme un fichier de guidage complémentaire que comme un fichier de blocage.
Pourquoi Better Robots.txt les associe
Le plugin peut associer les deux parce que le besoin WordPress réel n’est pas "encore un fichier isolé". Le besoin réel est un workflow cohérent de politique pour Search, l’IA, et le guidage machine-readable.
Ce que Better Robots.txt n’est pas
Better Robots.txt n’est ni un WAF, ni un système de vérification d’agent signé, ni une couche d’enforcement juridique, ni une garantie que chaque crawler obéira. Il publie une surface de politique WordPress plus claire et un workflow plus sûr pour les parties que vous pouvez réellement gouverner.
Lire ensuite
- Ajouter llms.txt sur WordPress
- robots.txt vs meta robots vs X-Robots-Tag
- Découvrabilité IA vs entraînement IA
- Guide robots.txt
Contexte Web agentique
Dans un workflow de préparation agentique, robots.txt et llms.txt sont voisins, mais non équivalents. robots.txt exprime du guidage d’accès au crawl. llms.txt aide les machines à comprendre ce qu’est le site et où se trouvent les pages sources prioritaires. Pour la pile complète, lire robots.txt, llms.txt et WebMCP.