Validador de robots meta tag / X-Robots-Tag
Cole o valor de uma tag ou de um cabeçalho X-Robots-Tag para validar suas diretivas e detectar conflitos como noindex com index.
Examinar as suas instruções de rastreamento e indexação
`` e `X-Robots-Tag` são o modo de dizer a um buscador que não indexe uma página ou que não siga os seus links. Cole o valor e esta ferramenta esmiúça as diretivas, traz à luz os ajustes contraditórios e os valores defeituosos, e expõe o resultado.
**A primeira coisa a entender é que, quando as instruções se contradizem, prevalece a mais restritiva.** Escreva `index, noindex` e ganha `noindex`. **O acidente mais comum de longe, porém, é pôr `noindex` numa página e ao mesmo tempo proibi-la no robots.txt.** O rastreador já não consegue recuperá-la, de modo que **jamais chega a ler a instrução `noindex` e a página permanece no índice.** Uma página que se queira retirar deve ser deixada rastreável para que o `noindex` possa ser lido. Note ainda que `X-Robots-Tag`, por ser um cabeçalho HTTP, permite dar as mesmas instruções a PDF e imagens, que não têm HTML onde alojar uma meta tag.
Como se usa
- Cole o valor São aceitos por igual uma tag ``, uma linha começando por `X-Robots-Tag:` ou as diretivas a seco.
- Experimente antes os exemplos São oferecidos um exemplo bom e um ruim.
- Leia as contradições e os erros **São apontados tanto escrever `noindex` ao lado de `index` quanto os valores defeituosos em `max-snippet` e afins.**
- Revise o desdobramento Você pode ver as diretivas esmiuçadas e estabelecer quais estão em vigor.
Dicas para aproveitar melhor
- Evite combinar noindex com um disallow do robots.txt para a mesma página. Se o disallow bloquear totalmente o rastreamento, o rastreador nunca chega a ler a tag noindex da página, e a remoção do índice pode não ocorrer como esperado.
- O Google não gera erro para nomes de diretiva que não reconhece; ele simplesmente os ignora. Isso significa que uma diretiva desconhecida não é fatal, mas também que um erro de digitação pode passar despercebido se você não conferir.
- max-snippet:-1 e max-video-preview:-1 são valores especiais que significam "ilimitado". Um valor 0 significa outra coisa — "não exibir nenhum trecho" — portanto não confunda os dois.
- O cabeçalho X-Robots-Tag é a única forma de aplicar diretivas como noindex a arquivos que não são HTML, como PDFs e imagens; uma tag só pode ser incorporada em um documento HTML.
- Ao combinar várias diretivas, separe-as por vírgulas dentro de um único atributo content ou valor de cabeçalho. Escrever várias tags separadas não faz a última prevalecer — cada uma é avaliada de forma independente, o que pode gerar resultados inesperados.
Quando é útil
Evitar que um ambiente de testes venha a público
**Você pode confirmar antes do lançamento que o `noindex` está de fato em vigor.**
Investigar por que uma página não sai do índice
**Dá-lhe o aviso para rever se uma proibição no robots.txt está sendo usada junto ao `noindex`.**
Ajustar como um resultado aparece
Você pode confirmar que `max-snippet` e `max-image-preview` estão corretamente indicados.
Decidir como tratar os PDF e afins
Arquivos sem HTML exigem `X-Robots-Tag` em vez de uma meta tag.
Termos das instruções robots
- Noindex
- A instrução que pede deixar uma página fora dos resultados. **Proibi-la no robots.txt impede que seja lida, então as duas coisas não devem ser combinadas.**
- Nofollow
- A instrução que pede não seguir os links da página.
- Noarchive
- A instrução que pede não oferecer cópia em cache nos resultados.
- Max-snippet
- Fixa o comprimento máximo da descrição mostrada nos resultados. `0` a suprime e `-1` levanta o limite.
- Max-image-preview
- Fixa o tamanho da pré-visualização de imagem, escolhendo entre `none`, `standard` e `large`.
- X-Robots-Tag
- As mesmas instruções **devolvidas como cabeçalho HTTP.** Serve para recursos como PDF e imagens que não levam HTML.
Perguntas frequentes
Curiosidade — Qual é a diferença entre robots.txt e a tag robots meta: a divisão de tarefas entre rastreamento e indexação
robots.txt e a tag robots meta são ambas instruções para os mecanismos de busca, mas atuam em estágios diferentes. robots.txt é um arquivo de texto estático colocado na raiz do site que controla, por padrão de URL, se uma URL pode ser rastreada. Já a tag robots meta (e o cabeçalho X-Robots-Tag) controla, página por página, se uma página já rastreada pode ser indexada ou se seus links podem ser seguidos; ambas funcionam como camadas independentes.
Por causa dessa divisão de tarefas, adicionar uma tag noindex a uma página já bloqueada por disallow no robots.txt não tem efeito algum. O rastreador nunca chega a obter essa página, então nunca tem a chance de ler a instrução noindex nela incorporada. Se você quer que uma página seja removida dos resultados de busca, precisa manter o rastreamento permitido e confiar apenas no noindex.
O cabeçalho X-Robots-Tag foi introduzido pelo Google por volta de 2007, estendendo esse mesmo tipo de controle a recursos que não são HTML, como PDFs, imagens e vídeos, onde uma tag não pode ser incorporada. Como pode ser aplicado em massa por extensão de arquivo por meio da configuração do servidor web (por exemplo, Apache), é bastante adequado para tarefas como marcar como noindex uma pasta inteira de arquivos PDF de uma só vez.
Diretivas com valor, como max-snippet, max-image-preview e max-video-preview, são adições relativamente recentes, introduzidas em 2019 quando o Google esclareceu sua política sobre a exibição de trechos nos resultados de busca. Antes disso, quem queria limitar a exibição do trecho só tinha a opção drástica do nosnippet, que a desativava por completo; as novas diretivas passaram a oferecer um controle muito mais preciso.