Spam, flux et pièges de crawl
Emplacement : Étape 7, Spam, flux et pièges de crawl.
Cette étape regroupe cinq bascules de nettoyage qui ciblent des patterns d’URL à faible valeur ou à fort bruit, courants sur les sites WordPress. L’objectif est de réduire le gaspillage de crawl sans supprimer de découverte utile.
Ce que cette étape contrôle
Cinq bascules :
- Block Feed Crawlers : interdit les URL de flux qui n’apportent plus de valeur de découvrabilité.
- Block Author Archives : interdit les chemins
/author/*qui dupliquent souvent du contenu déjà indexé ailleurs. - Block Comment Spam Params : interdit les query strings que les outils de spam de commentaires ont tendance à générer.
- Block WordPress Search URLs : interdit le pattern d’URL interne
?s=qui crée des chemins de crawl infinis à faible valeur. - Block Common Trap Parameters : interdit les pièges paramétriques les plus courants (variations d’URL de type facettes).
Quand activée, chaque bascule émet des règles Disallow sous User-agent: *.
Comment décider
Utilisez le nettoyage par défaut (la plupart des bascules activées) si :
- le site est une installation WordPress standard sans raison spécifique d’exposer flux et archives d’auteurs ;
- l’analyse des logs de crawl montre du budget gaspillé sur des URL dupliquées ou à faible valeur.
Laissez Block Feed Crawlers désactivée si :
- le site publie activement des flux RSS ou Atom pour la découvrabilité (rédactions, podcasts, partenaires de syndication).
Laissez Block Author Archives désactivée si :
- les pages d’auteurs font partie de la marque éditoriale et ont du contenu long et unique ;
- les archives d’auteurs sont intentionnellement indexées pour les signaux E-E-A-T.
Laissez les bascules search et trap parameters désactivées uniquement si une campagne ou intégration spécifique dépend de l’indexabilité de ces URL.
Ce que cette étape ne fait pas
Cette étape :
- n’empêche pas le spam de commentaires lui-même. Une couche de modération (Akismet, modération manuelle, règles firewall) gère le spam de contenu ;
- ne bloque pas les bots qui ignorent
robots.txt; - ne garantit pas que tous les pièges paramétriques sont couverts. La liste est curée ; une stack inhabituelle peut nécessiter des règles personnalisées.
Offre concernée
- Free : les bascules de base sont disponibles.
- Pro / Premium : la protection avancée couvre une liste de patterns plus large et des cas limites.