Validateur de balise meta robots / X-Robots-Tag
Collez la valeur d'une balise ou d'un en-tête X-Robots-Tag pour valider ses directives en un seul passage. Détecte les conflits comme noindex avec index, ainsi que les valeurs erronées comme max-snippet, avec le détail par directive.
Astuces
- Évitez de combiner noindex avec un disallow de robots.txt pour la même page. Si disallow bloque totalement l'exploration, le robot ne peut jamais lire la balise noindex présente sur la page, si bien que sa désindexation risque de ne pas se produire comme prévu.
- Google ne signale pas d'erreur pour les noms de directive qu'il ne reconnaît pas : il les ignore simplement. Une directive inconnue n'est donc pas fatale, mais une faute de frappe peut ainsi passer inaperçue si vous ne vérifiez pas.
- max-snippet:-1 et max-video-preview:-1 sont des valeurs spéciales signifiant « illimité ». La valeur 0 a un sens différent — « n'afficher aucun extrait » — ne confondez pas les deux.
- L'en-tête X-Robots-Tag est le seul moyen d'appliquer des directives comme noindex à des fichiers non HTML tels que des PDF ou des images ; une balise ne peut être intégrée que dans un document HTML.
- Pour combiner plusieurs directives, regroupez-les séparées par des virgules dans un seul attribut content ou une seule valeur d'en-tête. Répéter plusieurs balises meta du même nom ne fait pas gagner la dernière : chacune est évaluée indépendamment, ce qui peut produire un résultat inattendu.
FAQ
Anecdote — En quoi robots.txt diffère-t-il de la balise meta robots ? La répartition des rôles entre exploration et indexation
robots.txt et la balise meta robots servent tous deux à donner des instructions aux moteurs de recherche, mais ils interviennent à des étapes différentes. robots.txt est un fichier texte statique placé à la racine du site, qui contrôle, par motif d'URL, si l'exploration est autorisée. La balise meta robots (ainsi que l'en-tête X-Robots-Tag) contrôle au contraire, page par page, si une page déjà explorée peut être indexée ou si ses liens peuvent être suivis — les deux fonctionnent comme des couches indépendantes.
En raison de cette répartition des rôles, ajouter une balise noindex sur une page déjà bloquée par un disallow dans robots.txt n'a aucun effet. Le robot ne peut jamais récupérer cette page, et n'a donc jamais l'occasion de lire l'instruction noindex qui y figure. Pour retirer une page des résultats de recherche, il faut laisser l'exploration autorisée et s'appuyer uniquement sur noindex.
L'en-tête X-Robots-Tag a été introduit par Google vers 2007, étendant ce même contrôle aux ressources non HTML comme les PDF, images et vidéos, où une balise ne peut pas être intégrée. Comme il peut être défini en masse par extension de fichier via la configuration du serveur web (par exemple Apache), il convient bien à des usages comme le passage en noindex de tout un lot de fichiers PDF en une seule fois.
Les directives à valeur comme max-snippet, max-image-preview et max-video-preview sont relativement récentes : elles ont été ajoutées en 2019 lorsque Google a clarifié sa politique concernant l'affichage des extraits dans les résultats de recherche. Auparavant, les éditeurs ne disposaient que de l'option radicale nosnippet pour désactiver totalement l'affichage ; ces nouvelles directives leur ont permis d'ajuster l'affichage de façon bien plus fine.