Validador de robots meta tag / X-Robots-Tag
Pega el valor de una etiqueta o de una cabecera X-Robots-Tag para validar sus directivas y detectar contradicciones como noindex con index.
Consejos
- Evita combinar noindex con un disallow de robots.txt para la misma página. Si disallow bloquea el rastreo por completo, el rastreador nunca llega a leer la etiqueta noindex de la página, por lo que la eliminación del índice puede no producirse como se esperaba.
- Google no genera un error con los nombres de directiva que no reconoce; simplemente los ignora. Esto significa que una directiva desconocida no es fatal, pero también que un error tipográfico puede pasar desapercibido si no lo compruebas.
- max-snippet:-1 y max-video-preview:-1 son valores especiales que significan "ilimitado". Un valor de 0 significa algo distinto: "no mostrar ningún fragmento", así que no los confundas.
- La cabecera X-Robots-Tag es la única forma de aplicar directivas como noindex a archivos que no son HTML, como PDF o imágenes; una etiqueta solo puede incrustarse en un documento HTML.
- Al combinar varias directivas, sepáralas con comas dentro de un único atributo content o valor de cabecera. Escribir varias etiquetas por separado no hace que gane la última: cada una se evalúa de forma independiente, lo que puede dar resultados sorprendentes.
Preguntas frecuentes
A propósito — En qué se diferencian robots.txt y la etiqueta robots meta: el reparto de tareas entre rastreo e indexación
robots.txt y la etiqueta robots meta son ambas instrucciones para los buscadores, pero actúan en etapas distintas. robots.txt es un archivo de texto estático colocado en la raíz del sitio que controla, por patrón de URL, si se permite rastrear una URL. La etiqueta robots meta (y la cabecera X-Robots-Tag), en cambio, controla, página por página, si una página ya rastreada puede indexarse o si se pueden seguir sus enlaces; ambas funcionan como capas independientes.
Debido a este reparto de tareas, añadir una etiqueta noindex a una página que robots.txt ya bloquea con disallow no tiene ningún efecto. El rastreador nunca llega a obtener esa página, así que nunca tiene la oportunidad de leer la instrucción noindex incrustada en ella. Si quieres que una página se elimine de los resultados de búsqueda, debes mantener el rastreo permitido y confiar solo en noindex.
La cabecera X-Robots-Tag fue introducida por Google hacia 2007, y amplió ese mismo tipo de control a recursos que no son HTML, como PDF, imágenes y vídeos, donde no se puede incrustar una etiqueta . Como puede aplicarse de forma masiva según la extensión del archivo mediante la configuración del servidor web (por ejemplo, Apache), resulta muy adecuada para tareas como marcar como noindex toda una carpeta de archivos PDF de una vez.
Las directivas con valor, como max-snippet, max-image-preview y max-video-preview, son adiciones relativamente recientes, introducidas en 2019 cuando Google aclaró su política sobre la visualización de fragmentos en los resultados de búsqueda. Antes de eso, quienes querían limitar la visualización del fragmento solo contaban con la opción drástica de nosnippet, que la desactivaba por completo; las nuevas directivas ofrecieron un control mucho más preciso.