Le fichier robots.txt fait partie de ces petits fichiers qu’on configure une fois et qu’on oublie. Pourtant, une seule ligne mal écrite peut empêcher Google d’explorer une partie de votre site. Dans une vidéo à la fois rigolote et sérieuse, Gary Illyes et Chery Prommawin, de Google, font le point sur ce qu’il est possible (ou non) d’y mettre.
Au programme
- les règles de syntaxe à respecter ;
- la gestion des caractères spéciaux dans les URL ;
- les différences de prise en charge d’un robot d’exploration à l’autre ;
- les limites du fichier, notamment face aux robots d’IA.
La vidéo est en anglais, mais les sous-titres peuvent être affichés en français directement depuis YouTube.
Pourquoi c’est utile
Sur WordPress, le fichier robots.txt est souvent généré automatiquement, par WordPress lui-même ou par votre extension SEO. On a donc tendance à ne jamais le regarder. Or, la question des robots d’IA a remis le sujet sur la table : beaucoup de propriétaires de sites se demandent s’ils peuvent bloquer l’exploration de leurs contenus par les outils d’IA, et dans quelle mesure ces robots respectent les consignes.
Rappel utile : le robots.txt est une consigne, pas une protection. Un robot peu scrupuleux peut tout à fait l’ignorer, et bloquer l’exploration d’une page dans ce fichier ne garantit pas qu’elle disparaisse des résultats de recherche.
Quand la regarder
Avant de modifier votre robots.txt, après une refonte ou une migration, ou si vous constatez des pages non explorées dans la Search Console. C’est aussi un bon réflexe de vérifier le fichier de vos sites clients de temps en temps : il suffit d’ajouter /robots.txt à l’adresse du site pour l’afficher.