Validateur de balise meta robots / X-Robots-Tag
Collez la valeur d'une balise ou d'un en-tête X-Robots-Tag pour valider ses directives en un seul passage. Détecte les conflits comme noindex avec index, ainsi que les valeurs erronées comme max-snippet, avec le détail par directive.
Examiner vos instructions d'exploration et d'indexation
`` et `X-Robots-Tag` sont le moyen de dire à un moteur de recherche de ne pas indexer une page ou de ne pas suivre ses liens. Collez la valeur et cet outil décompose les directives, met au jour les réglages contradictoires et les valeurs fautives, et expose le résultat.
**Il faut d'abord comprendre que, lorsque les instructions se contredisent, c'est la plus restrictive qui l'emporte.** Écrivez `index, noindex` et `noindex` gagne. **L'accident de loin le plus fréquent consiste toutefois à poser `noindex` sur une page tout en l'interdisant dans le robots.txt.** Le robot ne peut dès lors plus la récupérer, si bien qu'il **ne lit jamais l'instruction `noindex` et que la page demeure dans l'index.** Une page que l'on veut retirer doit rester explorable pour que le `noindex` puisse être lu. Notez en outre que `X-Robots-Tag`, étant un en-tête HTTP, permet de donner les mêmes instructions aux PDF et aux images, qui n'ont pas de HTML où loger une balise méta.
Comment s'en servir
- Collez la valeur Une balise ``, une ligne débutant par `X-Robots-Tag:` ou les seules directives sont admises pareillement.
- Essayez d'abord les exemples Un bon et un mauvais exemple sont fournis.
- Lisez les contradictions et les erreurs **Écrire `noindex` à côté d'`index`, comme les valeurs fautives de `max-snippet` et consorts, sont l'un et l'autre signalés.**
- Parcourez le détail Vous voyez les directives décomposées et établissez lesquelles sont en vigueur.
Astuces pour en tirer le meilleur parti
- Évitez de combiner noindex avec un disallow de robots.txt pour la même page. Si disallow bloque totalement l'exploration, le robot ne peut jamais lire la balise noindex présente sur la page, si bien que sa désindexation risque de ne pas se produire comme prévu.
- Google ne signale pas d'erreur pour les noms de directive qu'il ne reconnaît pas : il les ignore simplement. Une directive inconnue n'est donc pas fatale, mais une faute de frappe peut ainsi passer inaperçue si vous ne vérifiez pas.
- max-snippet:-1 et max-video-preview:-1 sont des valeurs spéciales signifiant « illimité ». La valeur 0 a un sens différent — « n'afficher aucun extrait » — ne confondez pas les deux.
- L'en-tête X-Robots-Tag est le seul moyen d'appliquer des directives comme noindex à des fichiers non HTML tels que des PDF ou des images ; une balise ne peut être intégrée que dans un document HTML.
- Pour combiner plusieurs directives, regroupez-les séparées par des virgules dans un seul attribut content ou une seule valeur d'en-tête. Répéter plusieurs balises meta du même nom ne fait pas gagner la dernière : chacune est évaluée indépendamment, ce qui peut produire un résultat inattendu.
Dans quels cas s'en servir
Pour éviter qu'un environnement de test ne devienne public
**Vous confirmez avant la mise en ligne que `noindex` produit réellement son effet.**
Pour chercher pourquoi une page ne quitte pas l'index
**Cela vous invite à vérifier si une interdiction dans le robots.txt accompagne le `noindex`.**
Pour régler l'apparence d'un résultat
Vous confirmez que `max-snippet` et `max-image-preview` sont correctement indiqués.
Pour décider du traitement des PDF et autres
Les fichiers dépourvus de HTML réclament `X-Robots-Tag` plutôt qu'une balise méta.
Vocabulaire des instructions robots
- Noindex
- L'instruction demandant qu'une page reste hors des résultats. **L'interdire dans le robots.txt empêche qu'elle soit lue : les deux ne doivent donc pas se combiner.**
- Nofollow
- L'instruction demandant que les liens de la page ne soient pas suivis.
- Noarchive
- L'instruction demandant qu'aucune copie en cache ne soit proposée dans les résultats.
- Max-snippet
- Fixe la longueur maximale de la description affichée dans les résultats. `0` la supprime et `-1` lève la limite.
- Max-image-preview
- Fixe la taille de l'aperçu d'image, au choix entre `none`, `standard` et `large`.
- X-Robots-Tag
- Les mêmes instructions **renvoyées sous forme d'en-tête HTTP.** Il sert pour des ressources telles que les PDF et les images, qui ne portent pas de HTML.
FAQ
Anecdote — En quoi robots.txt diffère-t-il de la balise meta robots ? La répartition des rôles entre exploration et indexation
robots.txt et la balise meta robots servent tous deux à donner des instructions aux moteurs de recherche, mais ils interviennent à des étapes différentes. robots.txt est un fichier texte statique placé à la racine du site, qui contrôle, par motif d'URL, si l'exploration est autorisée. La balise meta robots (ainsi que l'en-tête X-Robots-Tag) contrôle au contraire, page par page, si une page déjà explorée peut être indexée ou si ses liens peuvent être suivis — les deux fonctionnent comme des couches indépendantes.
En raison de cette répartition des rôles, ajouter une balise noindex sur une page déjà bloquée par un disallow dans robots.txt n'a aucun effet. Le robot ne peut jamais récupérer cette page, et n'a donc jamais l'occasion de lire l'instruction noindex qui y figure. Pour retirer une page des résultats de recherche, il faut laisser l'exploration autorisée et s'appuyer uniquement sur noindex.
L'en-tête X-Robots-Tag a été introduit par Google vers 2007, étendant ce même contrôle aux ressources non HTML comme les PDF, images et vidéos, où une balise ne peut pas être intégrée. Comme il peut être défini en masse par extension de fichier via la configuration du serveur web (par exemple Apache), il convient bien à des usages comme le passage en noindex de tout un lot de fichiers PDF en une seule fois.
Les directives à valeur comme max-snippet, max-image-preview et max-video-preview sont relativement récentes : elles ont été ajoutées en 2019 lorsque Google a clarifié sa politique concernant l'affichage des extraits dans les résultats de recherche. Auparavant, les éditeurs ne disposaient que de l'option radicale nosnippet pour désactiver totalement l'affichage ; ces nouvelles directives leur ont permis d'ajuster l'affichage de façon bien plus fine.