Validador de robots.txt

Pega el contenido de tu robots.txt para verificar su sintaxis. Analiza las directivas User-agent, Disallow, Allow y Sitemap, y visualiza las reglas de acceso para los rastreadores.

Última actualización: 2026-09-13

[[ labels.url_label ]]

[[ fetchError ]]

[[ labels.or_paste ]]

[[ labels.input_label ]]

[[ labels.sample_label ]]:

[[ labels.no_input ]]

[[ labels.result_label ]]

[[ labels.errors_label ]]

[[ labels.line_label ]] [[ err.line ]]: [[ errorMessage(err) ]]

✓ [[ labels.no_errors ]]

[[ labels.blocks_label ]]

User-agent: [[ ua === '*' ? labels.all_crawlers + ' (*)' : ua ]]

Disallow
Allow	[[ path ]]
[[ labels.no_rules ]]
Crawl-delay	[[ block.crawlDelay ]]

[[ labels.sitemaps_label ]]

[[ url ]]

Qué es el validador de robots.txt

El validador de robots.txt le permite detectar errores de sintaxis y descuidos sutiles con solo pegar el contenido del archivo o introducir la URL del sitio para obtenerlo directamente. La herramienta analiza cada directiva —User-agent, Disallow, Allow, Sitemap y Crawl-delay— y organiza en una sola vista clara qué rutas están permitidas o bloqueadas para cada rastreador.

Un archivo robots.txt escrito a mano es más fácil de estropear de lo que parece: directivas en el orden equivocado, una regla Allow sin su correspondiente Disallow, o un bloque colocado bajo el grupo de User-agent incorrecto pueden pasar desapercibidos en una lectura rápida y, sin embargo, terminar excluyendo todo su sitio de los resultados de búsqueda. Revisar el archivo con esta herramienta antes de publicarlo permite detectar esos errores mientras todavía es gratis corregirlos.

Cómo usar el validador de robots.txt

Prepare el robots.txt que desea comprobar Tenga a mano el contenido del archivo copiado, o simplemente conozca la URL del sitio ya publicado que quiere inspeccionar.
Obténgalo desde una URL o péguelo directamente Introduzca la dirección del sitio en el campo "Obtener desde URL" para recuperarlo automáticamente, o pegue el texto directamente en el área de texto.
Revise los errores y advertencias del resultado Las directivas desconocidas, las que aparecen antes de cualquier línea User-agent y otros errores se muestran junto con el número exacto de línea donde ocurren.
Compruebe las rutas permitidas y bloqueadas por rastreador El resultado organiza todas las reglas por rastreador, para que pueda comparar rápidamente lo que realmente se bloquea con lo que pretendía.
Confirme que la directiva Sitemap está presente y es correcta Verifique que la URL de su mapa del sitio esté bien escrita e incluida, ya que los motores de búsqueda dependen de esta línea para encontrarlo.

Consejos para aprovecharla mejor

User-agent: * se aplica a todos los rastreadores. Los bloques con un nombre de bot específico (p. ej., Googlebot) tienen prioridad sobre el bloque comodín.
Disallow: con valor vacío significa "permitir todas las rutas". Disallow: / (solo barra) bloquea todo. No los confundas.
La directiva Allow: tiene prioridad sobre Disallow: cuando ambas coinciden. Por ejemplo, Disallow: /private/ seguido de Allow: /private/public.html permite ese archivo.
Crawl-delay: es una directiva no estándar que especifica el intervalo entre solicitudes en segundos. Bing y Yandex la respetan, pero Google no la soporta.
La directiva Sitemap: indica a los motores de búsqueda la URL de tu mapa del sitio. Google y Bing la reconocen; combínala con el envío manual en Search Console.

Casos de uso

Comprobación final antes de relanzar un sitio

Pegue el robots.txt de producción antes de publicar para asegurarse de que no se ha arrastrado por error una regla de bloqueo total pensada para el entorno de pruebas.

Auditar el archivo predeterminado de un CMS o framework nuevo

Muchas plataformas generan automáticamente un robots.txt al instalarse. Compruébelo aquí para confirmar que no bloquea directorios que sí desea que se indexen.

Como comprobación técnica rápida en una auditoría SEO

Cuando el posicionamiento de un sitio no rinde lo esperado, esta herramienta permite confirmar en segundos si el acceso de rastreo forma parte del problema.

Inspeccionar el robots.txt de un competidor

Obtenga el sitio de un competidor mediante su URL para ver qué directorios o tipos de archivo mantiene deliberadamente fuera del rastreo de los motores de búsqueda.

Glosario

User-agent: La directiva que indica a qué rastreador se aplica un grupo de reglas. * coincide con cualquier rastreador que no tenga una regla más específica propia.
Disallow: La directiva que bloquea el rastreo de una ruta determinada. Un valor vacío significa "permitir todo", algo fácil de confundir con una sola barra, que significa "bloquear todo".
Allow: La directiva usada para crear una excepción dentro de una ruta que una regla Disallow bloquearía, permitiendo únicamente ese archivo o subruta concretos.
Directiva Sitemap: Indica a los motores de búsqueda dónde encontrar el archivo XML de su mapa del sitio. Se lee de forma independiente a las reglas Disallow y siempre se procesa.
Crawl-delay: Una directiva no estándar que especifica el intervalo mínimo, en segundos, entre solicitudes. Bing y Yandex la respetan, pero Google la ignora por completo.
Protocolo de Exclusión de Robots (REP): La convención en la que se basa robots.txt, creada en 1994. Se mantuvo como estándar informal durante casi tres décadas hasta que se publicó formalmente como RFC 9309 en 2022.

Preguntas frecuentes

Sí. Bloquear una página con Disallow impide que los rastreadores lean su contenido, por lo que no será indexada. Sin embargo, si la página tiene enlaces externos, los motores de búsqueda pueden listarla como "conocida pero no rastreada". Para una exclusión completa, combínalo con la etiqueta meta noindex.

No. robots.txt tiene alcance por origen. example.com/robots.txt no se aplica a blog.example.com. Cada subdominio necesita su propio archivo robots.txt.

Googlebot admite * (cualquier secuencia de caracteres) y $ (fin de URL). Por ejemplo, Disallow: /private/*.pdf$ bloquea todos los PDF bajo /private/. No todos los rastreadores admiten comodines.

A propósito — El nacimiento de robots.txt: el día en que Internet aprendió a comportarse

En 1994, el ingeniero holandés Martijn Koster inventó el Protocolo de Exclusión de Robots (REP). En esa época, los rastreadores web recorrían los sitios sin control, generando una carga excesiva en los servidores. La idea de Koster fue sencilla: "Si colocas un archivo con reglas en la raíz del sitio, los rastreadores lo leerán." Ese archivo se convirtió en robots.txt.

Lo fundamental es que robots.txt es un acuerdo voluntario de caballeros sin poder coercitivo. Los rastreadores bien intencionados como Googlebot y Bingbot lo respetan, pero los bots maliciosos lo ignoran. Por eso, robots.txt sirve para indicar a los motores de búsqueda qué no indexar, pero nunca debe usarse para proteger contenido sensible del acceso no autorizado.

El Protocolo de Exclusión de Robots existió como convención informal durante casi tres décadas hasta que fue registrado formalmente por la IETF como RFC 9309 en septiembre de 2022, casi 28 años después de su creación.

Ver todas las curiosidades