ou de um cabeçalho X-Robots-Tag para validar suas diretivas e detectar conflitos como noindex com index." />

Validador de robots meta tag / X-Robots-Tag

Cole o valor de uma tag ou de um cabeçalho X-Robots-Tag para validar suas diretivas e detectar conflitos como noindex com index.

Examinar as suas instruções de rastreamento e indexação

`` e `X-Robots-Tag` são o modo de dizer a um buscador que não indexe uma página ou que não siga os seus links. Cole o valor e esta ferramenta esmiúça as diretivas, traz à luz os ajustes contraditórios e os valores defeituosos, e expõe o resultado.

**A primeira coisa a entender é que, quando as instruções se contradizem, prevalece a mais restritiva.** Escreva `index, noindex` e ganha `noindex`. **O acidente mais comum de longe, porém, é pôr `noindex` numa página e ao mesmo tempo proibi-la no robots.txt.** O rastreador já não consegue recuperá-la, de modo que **jamais chega a ler a instrução `noindex` e a página permanece no índice.** Uma página que se queira retirar deve ser deixada rastreável para que o `noindex` possa ser lido. Note ainda que `X-Robots-Tag`, por ser um cabeçalho HTTP, permite dar as mesmas instruções a PDF e imagens, que não têm HTML onde alojar uma meta tag.

Como se usa

  1. Cole o valor São aceitos por igual uma tag ``, uma linha começando por `X-Robots-Tag:` ou as diretivas a seco.
  2. Experimente antes os exemplos São oferecidos um exemplo bom e um ruim.
  3. Leia as contradições e os erros **São apontados tanto escrever `noindex` ao lado de `index` quanto os valores defeituosos em `max-snippet` e afins.**
  4. Revise o desdobramento Você pode ver as diretivas esmiuçadas e estabelecer quais estão em vigor.

Dicas para aproveitar melhor

  • Evite combinar noindex com um disallow do robots.txt para a mesma página. Se o disallow bloquear totalmente o rastreamento, o rastreador nunca chega a ler a tag noindex da página, e a remoção do índice pode não ocorrer como esperado.
  • O Google não gera erro para nomes de diretiva que não reconhece; ele simplesmente os ignora. Isso significa que uma diretiva desconhecida não é fatal, mas também que um erro de digitação pode passar despercebido se você não conferir.
  • max-snippet:-1 e max-video-preview:-1 são valores especiais que significam "ilimitado". Um valor 0 significa outra coisa — "não exibir nenhum trecho" — portanto não confunda os dois.
  • O cabeçalho X-Robots-Tag é a única forma de aplicar diretivas como noindex a arquivos que não são HTML, como PDFs e imagens; uma tag só pode ser incorporada em um documento HTML.
  • Ao combinar várias diretivas, separe-as por vírgulas dentro de um único atributo content ou valor de cabeçalho. Escrever várias tags separadas não faz a última prevalecer — cada uma é avaliada de forma independente, o que pode gerar resultados inesperados.

Quando é útil

Evitar que um ambiente de testes venha a público

**Você pode confirmar antes do lançamento que o `noindex` está de fato em vigor.**

Investigar por que uma página não sai do índice

**Dá-lhe o aviso para rever se uma proibição no robots.txt está sendo usada junto ao `noindex`.**

Ajustar como um resultado aparece

Você pode confirmar que `max-snippet` e `max-image-preview` estão corretamente indicados.

Decidir como tratar os PDF e afins

Arquivos sem HTML exigem `X-Robots-Tag` em vez de uma meta tag.

Termos das instruções robots

Noindex
A instrução que pede deixar uma página fora dos resultados. **Proibi-la no robots.txt impede que seja lida, então as duas coisas não devem ser combinadas.**
Nofollow
A instrução que pede não seguir os links da página.
Noarchive
A instrução que pede não oferecer cópia em cache nos resultados.
Max-snippet
Fixa o comprimento máximo da descrição mostrada nos resultados. `0` a suprime e `-1` levanta o limite.
Max-image-preview
Fixa o tamanho da pré-visualização de imagem, escolhendo entre `none`, `standard` e `large`.
X-Robots-Tag
As mesmas instruções **devolvidas como cabeçalho HTTP.** Serve para recursos como PDF e imagens que não levam HTML.

Perguntas frequentes

O robots.txt controla, em nível de site ou de padrão de URL, se um rastreador pode obter uma determinada URL. A tag robots meta (incluindo o cabeçalho X-Robots-Tag) controla, página por página, se uma página já rastreada pode ser indexada ou se seus links podem ser seguidos. Em resumo, um rege o rastreamento, o outro a indexação e o seguimento de links — dois estágios distintos.

noindex instrui o Google a não incluir aquela página nos resultados de busca. nofollow instrui a não seguir os links presentes na página (ou seja, não usá-los como sinal para rastrear seus destinos). Combinados, formam uma configuração rigorosa: a página fica fora dos resultados de busca e seus links de saída também não transmitem nenhum sinal de rastreamento.

A tag meta não pode ser usada porque só funciona dentro de um documento HTML, mas o X-Robots-Tag é enviado como cabeçalho de resposta HTTP, portanto pode ser aplicado a qualquer tipo de arquivo — PDFs, imagens, vídeos e mais. Uma prática comum é configurar o servidor web para adicioná-lo em massa por extensão de arquivo.

Permite limitar o número de caracteres que o Google pode exibir no trecho dos resultados de busca de uma página. É útil quando você quer mostrar apenas as primeiras linhas de uma notícia, ou evitar que o corpo completo de um conteúdo pago seja exibido, sem chegar ao nosnippet, que desativa completamente a exibição do trecho.

É possível configurar os dois, mas eles não funcionarão como a maioria espera. Depois que o robots.txt bloqueia uma página com disallow, o rastreador nunca consegue obtê-la, então nunca lê a tag noindex escrita nela — o que pode impedir que a página seja de fato removida do índice. Se seu objetivo é manter uma página fora dos resultados de busca, o correto é permitir o rastreamento e confiar apenas no noindex.
Tool-kun

Curiosidade — Qual é a diferença entre robots.txt e a tag robots meta: a divisão de tarefas entre rastreamento e indexação

robots.txt e a tag robots meta são ambas instruções para os mecanismos de busca, mas atuam em estágios diferentes. robots.txt é um arquivo de texto estático colocado na raiz do site que controla, por padrão de URL, se uma URL pode ser rastreada. Já a tag robots meta (e o cabeçalho X-Robots-Tag) controla, página por página, se uma página já rastreada pode ser indexada ou se seus links podem ser seguidos; ambas funcionam como camadas independentes.

Por causa dessa divisão de tarefas, adicionar uma tag noindex a uma página já bloqueada por disallow no robots.txt não tem efeito algum. O rastreador nunca chega a obter essa página, então nunca tem a chance de ler a instrução noindex nela incorporada. Se você quer que uma página seja removida dos resultados de busca, precisa manter o rastreamento permitido e confiar apenas no noindex.

O cabeçalho X-Robots-Tag foi introduzido pelo Google por volta de 2007, estendendo esse mesmo tipo de controle a recursos que não são HTML, como PDFs, imagens e vídeos, onde uma tag não pode ser incorporada. Como pode ser aplicado em massa por extensão de arquivo por meio da configuração do servidor web (por exemplo, Apache), é bastante adequado para tarefas como marcar como noindex uma pasta inteira de arquivos PDF de uma só vez.

Diretivas com valor, como max-snippet, max-image-preview e max-video-preview, são adições relativamente recentes, introduzidas em 2019 quando o Google esclareceu sua política sobre a exibição de trechos nos resultados de busca. Antes disso, quem queria limitar a exibição do trecho só tinha a opção drástica do nosnippet, que a desativava por completo; as novas diretivas passaram a oferecer um controle muito mais preciso.