Validateur robots.txt

Collez le contenu de votre robots.txt pour vérifier sa syntaxe. Analyse les directives User-agent, Disallow, Allow et Sitemap, et visualise les règles d'accès pour les robots d'exploration.

Dernière mise à jour : 2026-09-13

[[ labels.url_label ]]

[[ fetchError ]]

[[ labels.or_paste ]]

[[ labels.input_label ]]

[[ labels.sample_label ]]:

[[ labels.no_input ]]

[[ labels.result_label ]]

[[ labels.errors_label ]]

[[ labels.line_label ]] [[ err.line ]]: [[ errorMessage(err) ]]

✓ [[ labels.no_errors ]]

[[ labels.blocks_label ]]

User-agent: [[ ua === '*' ? labels.all_crawlers + ' (*)' : ua ]]

Disallow
Allow	[[ path ]]
[[ labels.no_rules ]]
Crawl-delay	[[ block.crawlDelay ]]

[[ labels.sitemaps_label ]]

[[ url ]]

Qu'est-ce que le validateur robots.txt ?

Le validateur robots.txt vous permet de détecter les erreurs de syntaxe et les erreurs subtiles simplement en collant le contenu de votre fichier ou en indiquant l'URL du site pour le récupérer directement. L'outil analyse chaque directive — User-agent, Disallow, Allow, Sitemap et Crawl-delay — et présente en une seule vue claire les chemins autorisés ou bloqués pour chaque robot d'exploration.

Un fichier robots.txt écrit à la main est plus facile à mal rédiger qu'il n'y paraît : des directives dans le mauvais ordre, une règle Allow sans Disallow correspondant, ou un bloc placé sous le mauvais groupe de User-agent peuvent passer inaperçus lors d'une relecture rapide, tout en excluant discrètement l'ensemble de votre site des résultats de recherche. Vérifier le fichier avec cet outil avant de le publier permet de repérer ces erreurs pendant qu'elles ne coûtent encore rien à corriger.

Comment utiliser le validateur robots.txt

Préparez le robots.txt à vérifier Copiez le contenu du fichier ou notez simplement l'URL du site déjà en ligne que vous souhaitez inspecter.
Récupérez-le depuis une URL ou collez-le directement Saisissez l'adresse du site dans le champ « Récupérer depuis l'URL » pour le récupérer automatiquement, ou collez le texte brut directement dans la zone de texte ci-dessous.
Consultez les erreurs et avertissements du résultat Les directives inconnues, celles qui apparaissent avant toute ligne User-agent et les autres erreurs sont listées avec le numéro de ligne exact où elles surviennent.
Vérifiez les chemins autorisés et bloqués par robot Le résultat organise toutes les règles par robot d'exploration, afin que vous puissiez rapidement comparer ce qui est réellement bloqué avec ce que vous aviez prévu.
Confirmez que la directive Sitemap est présente et correcte Vérifiez que l'URL de votre plan de site est correctement orthographiée et incluse, car les moteurs de recherche s'appuient sur cette ligne pour le trouver.

Astuces pour en tirer le meilleur parti

User-agent: * s'applique à tous les robots d'exploration. Les blocs avec un nom de bot spécifique (ex. : Googlebot) ont la priorité sur le bloc générique.
Disallow: sans valeur signifie « autoriser tous les chemins ». Disallow: / (slash seul) bloque tout. Ne les confondez pas.
La directive Allow: a la priorité sur Disallow: lorsque les deux correspondent. Par exemple, Disallow: /private/ suivi de Allow: /private/public.html autorise ce fichier précis.
Crawl-delay: est une directive non standard spécifiant l'intervalle entre les requêtes en secondes. Bing et Yandex la respectent, mais Google ne la prend pas en charge.
La directive Sitemap: informe les moteurs de recherche de l'URL de votre plan de site. Google et Bing la reconnaissent ; combinez-la avec la soumission manuelle dans la Search Console.

Cas d'usage

Vérification finale avant la refonte d'un site

Collez le robots.txt de production avant la mise en ligne pour vous assurer qu'une règle de blocage total héritée de l'environnement de test n'a pas été conservée par erreur.

Auditer le fichier par défaut d'un nouveau CMS ou framework

De nombreuses plateformes génèrent automatiquement un robots.txt à l'installation. Vérifiez-le ici pour confirmer qu'il ne bloque pas des répertoires que vous souhaitez pourtant voir indexés.

Comme vérification technique rapide lors d'un audit SEO

Lorsque le positionnement d'un site est décevant, cet outil permet de confirmer en quelques secondes si l'accès des robots d'exploration fait partie du problème.

Inspecter le robots.txt d'un concurrent

Récupérez le site d'un concurrent via son URL pour voir quels répertoires ou types de fichiers il exclut délibérément de l'exploration des moteurs de recherche.

Glossaire

User-agent: La directive qui indique à quel robot d'exploration s'applique un groupe de règles. * correspond à tout robot qui ne dispose pas d'une règle plus spécifique qui lui soit propre.
Disallow: La directive qui bloque l'exploration d'un chemin donné. Une valeur vide signifie « tout autoriser », ce qui se confond facilement avec un simple slash signifiant « tout bloquer ».
Allow: La directive utilisée pour créer une exception au sein d'un chemin qu'une règle Disallow bloquerait autrement, en autorisant uniquement ce fichier ou ce sous-chemin précis.
Directive Sitemap: Indique aux moteurs de recherche où trouver le fichier XML de votre plan de site. Elle est lue indépendamment des règles Disallow et toujours prise en compte.
Crawl-delay: Une directive non standard qui précise l'intervalle minimal, en secondes, entre les requêtes. Bing et Yandex la respectent, mais Google l'ignore totalement.
Protocole d'exclusion des robots (REP): La convention sous-jacente que met en œuvre robots.txt, imaginée en 1994. Elle est restée une norme informelle pendant près de trois décennies avant d'être officiellement publiée sous la référence RFC 9309 en 2022.

Questions fréquentes

Oui. Bloquer une page avec Disallow empêche les robots de lire son contenu, elle ne sera donc pas indexée. Cependant, si la page est liée depuis d'autres sites, les moteurs de recherche peuvent la lister comme « connue mais non explorée ». Pour une exclusion complète, combinez avec la balise meta noindex.

Non. robots.txt a une portée par origine. example.com/robots.txt ne s'applique pas à blog.example.com. Chaque sous-domaine a besoin de son propre fichier robots.txt.

Googlebot prend en charge * (toute séquence de caractères) et $ (fin d'URL). Par exemple, Disallow: /private/*.pdf$ bloque tous les fichiers PDF sous /private/. Tous les robots ne prennent pas en charge les caractères génériques.

Anecdote — La naissance de robots.txt : le jour où internet apprit la politesse

En 1994, l'ingénieur néerlandais Martijn Koster inventa le Protocole d'exclusion des robots (REP). À l'époque, les robots d'exploration parcouraient les sites sans contrôle, surchargeant les serveurs. L'idée de Koster était simple : « Si vous placez un fichier avec des règles à la racine du site, les robots le liront. » Ce fichier est devenu robots.txt.

L'essentiel est que robots.txt est un accord volontaire entre gentlemen, sans force exécutoire. Les robots bien intentionnés comme Googlebot et Bingbot le respectent, mais les bots malveillants l'ignorent. robots.txt fonctionne bien pour indiquer aux moteurs de recherche ce qu'il ne faut pas indexer, mais ne doit jamais être utilisé pour protéger du contenu sensible contre un accès non autorisé.

Le Protocole d'exclusion des robots a existé en tant que convention informelle pendant près de trois décennies avant d'être formellement enregistré par l'IETF sous la référence RFC 9309 en septembre 2022, près de 28 ans après sa création.

Voir toutes les anecdotes