Validador de robots meta tag / X-Robots-Tag
Pega el valor de una etiqueta o de una cabecera X-Robots-Tag para validar sus directivas y detectar contradicciones como noindex con index.
Examinar sus instrucciones de rastreo e indexación
`` y `X-Robots-Tag` son el modo de decirle a un buscador que no indexe una página o que no siga sus enlaces. Pegue el valor y esta herramienta desmenuza las directivas, saca a la luz los ajustes contradictorios y los valores defectuosos, y expone el resultado.
**Lo primero que hay que entender es que, cuando las instrucciones se contradicen, prevalece la más restrictiva.** Escriba `index, noindex` y gana `noindex`. **El accidente más común con diferencia, sin embargo, es poner `noindex` en una página y a la vez prohibirla en robots.txt.** El rastreador ya no puede recuperarla, de modo que **nunca llega a leer la instrucción `noindex` y la página permanece en el índice.** Una página que se quiere retirar debe dejarse rastreable para que el `noindex` pueda leerse. Advierta además que `X-Robots-Tag`, al ser una cabecera HTTP, permite dar las mismas instrucciones a PDF e imágenes, que no tienen HTML donde alojar una meta etiqueta.
Cómo se usa
- Pegue el valor Se admiten por igual una etiqueta ``, una línea que empiece por `X-Robots-Tag:` o las directivas a secas.
- Pruebe antes con los ejemplos Se ofrecen un ejemplo bueno y uno malo.
- Lea las contradicciones y los errores **Se señalan tanto escribir `noindex` junto a `index` como los valores defectuosos en `max-snippet` y similares.**
- Revise el desglose Puede ver las directivas desmenuzadas y establecer cuáles están en vigor.
Consejos para aprovecharla mejor
- Evita combinar noindex con un disallow de robots.txt para la misma página. Si disallow bloquea el rastreo por completo, el rastreador nunca llega a leer la etiqueta noindex de la página, por lo que la eliminación del índice puede no producirse como se esperaba.
- Google no genera un error con los nombres de directiva que no reconoce; simplemente los ignora. Esto significa que una directiva desconocida no es fatal, pero también que un error tipográfico puede pasar desapercibido si no lo compruebas.
- max-snippet:-1 y max-video-preview:-1 son valores especiales que significan "ilimitado". Un valor de 0 significa algo distinto: "no mostrar ningún fragmento", así que no los confundas.
- La cabecera X-Robots-Tag es la única forma de aplicar directivas como noindex a archivos que no son HTML, como PDF o imágenes; una etiqueta solo puede incrustarse en un documento HTML.
- Al combinar varias directivas, sepáralas con comas dentro de un único atributo content o valor de cabecera. Escribir varias etiquetas por separado no hace que gane la última: cada una se evalúa de forma independiente, lo que puede dar resultados sorprendentes.
Cuándo resulta útil
Evitar que un entorno de pruebas se haga público
**Puede confirmar antes del lanzamiento que `noindex` está verdaderamente en vigor.**
Investigar por qué una página no sale del índice
**Le da el aviso para revisar si se está usando una prohibición en robots.txt junto al `noindex`.**
Ajustar cómo aparece un resultado
Puede confirmar que `max-snippet` y `max-image-preview` están correctamente indicados.
Decidir cómo tratar los PDF y demás
Los archivos sin HTML requieren `X-Robots-Tag` en lugar de una meta etiqueta.
Términos de las instrucciones robots
- Noindex
- La instrucción que pide dejar una página fuera de los resultados. **Prohibirla en robots.txt impide que se lea, así que ambas cosas no deben combinarse.**
- Nofollow
- La instrucción que pide no seguir los enlaces de la página.
- Noarchive
- La instrucción que pide no ofrecer copia en caché en los resultados.
- Max-snippet
- Fija la longitud máxima de la descripción mostrada en los resultados. `0` la suprime y `-1` levanta el límite.
- Max-image-preview
- Fija el tamaño de la vista previa de imagen, eligiendo entre `none`, `standard` y `large`.
- X-Robots-Tag
- Las mismas instrucciones **devueltas como cabecera HTTP.** Sirve para recursos como PDF e imágenes que no llevan HTML.
Preguntas frecuentes
A propósito — En qué se diferencian robots.txt y la etiqueta robots meta: el reparto de tareas entre rastreo e indexación
robots.txt y la etiqueta robots meta son ambas instrucciones para los buscadores, pero actúan en etapas distintas. robots.txt es un archivo de texto estático colocado en la raíz del sitio que controla, por patrón de URL, si se permite rastrear una URL. La etiqueta robots meta (y la cabecera X-Robots-Tag), en cambio, controla, página por página, si una página ya rastreada puede indexarse o si se pueden seguir sus enlaces; ambas funcionan como capas independientes.
Debido a este reparto de tareas, añadir una etiqueta noindex a una página que robots.txt ya bloquea con disallow no tiene ningún efecto. El rastreador nunca llega a obtener esa página, así que nunca tiene la oportunidad de leer la instrucción noindex incrustada en ella. Si quieres que una página se elimine de los resultados de búsqueda, debes mantener el rastreo permitido y confiar solo en noindex.
La cabecera X-Robots-Tag fue introducida por Google hacia 2007, y amplió ese mismo tipo de control a recursos que no son HTML, como PDF, imágenes y vídeos, donde no se puede incrustar una etiqueta . Como puede aplicarse de forma masiva según la extensión del archivo mediante la configuración del servidor web (por ejemplo, Apache), resulta muy adecuada para tareas como marcar como noindex toda una carpeta de archivos PDF de una vez.
Las directivas con valor, como max-snippet, max-image-preview y max-video-preview, son adiciones relativamente recientes, introducidas en 2019 cuando Google aclaró su política sobre la visualización de fragmentos en los resultados de búsqueda. Antes de eso, quienes querían limitar la visualización del fragmento solo contaban con la opción drástica de nosnippet, que la desactivaba por completo; las nuevas directivas ofrecieron un control mucho más preciso.