Validador de robots meta tag / X-Robots-Tag
Cole o valor de uma tag ou de um cabeçalho X-Robots-Tag para validar suas diretivas e detectar conflitos como noindex com index.
Dicas
- Evite combinar noindex com um disallow do robots.txt para a mesma página. Se o disallow bloquear totalmente o rastreamento, o rastreador nunca chega a ler a tag noindex da página, e a remoção do índice pode não ocorrer como esperado.
- O Google não gera erro para nomes de diretiva que não reconhece; ele simplesmente os ignora. Isso significa que uma diretiva desconhecida não é fatal, mas também que um erro de digitação pode passar despercebido se você não conferir.
- max-snippet:-1 e max-video-preview:-1 são valores especiais que significam "ilimitado". Um valor 0 significa outra coisa — "não exibir nenhum trecho" — portanto não confunda os dois.
- O cabeçalho X-Robots-Tag é a única forma de aplicar diretivas como noindex a arquivos que não são HTML, como PDFs e imagens; uma tag só pode ser incorporada em um documento HTML.
- Ao combinar várias diretivas, separe-as por vírgulas dentro de um único atributo content ou valor de cabeçalho. Escrever várias tags separadas não faz a última prevalecer — cada uma é avaliada de forma independente, o que pode gerar resultados inesperados.
Perguntas frequentes
Curiosidade — Qual é a diferença entre robots.txt e a tag robots meta: a divisão de tarefas entre rastreamento e indexação
robots.txt e a tag robots meta são ambas instruções para os mecanismos de busca, mas atuam em estágios diferentes. robots.txt é um arquivo de texto estático colocado na raiz do site que controla, por padrão de URL, se uma URL pode ser rastreada. Já a tag robots meta (e o cabeçalho X-Robots-Tag) controla, página por página, se uma página já rastreada pode ser indexada ou se seus links podem ser seguidos; ambas funcionam como camadas independentes.
Por causa dessa divisão de tarefas, adicionar uma tag noindex a uma página já bloqueada por disallow no robots.txt não tem efeito algum. O rastreador nunca chega a obter essa página, então nunca tem a chance de ler a instrução noindex nela incorporada. Se você quer que uma página seja removida dos resultados de busca, precisa manter o rastreamento permitido e confiar apenas no noindex.
O cabeçalho X-Robots-Tag foi introduzido pelo Google por volta de 2007, estendendo esse mesmo tipo de controle a recursos que não são HTML, como PDFs, imagens e vídeos, onde uma tag não pode ser incorporada. Como pode ser aplicado em massa por extensão de arquivo por meio da configuração do servidor web (por exemplo, Apache), é bastante adequado para tarefas como marcar como noindex uma pasta inteira de arquivos PDF de uma só vez.
Diretivas com valor, como max-snippet, max-image-preview e max-video-preview, são adições relativamente recentes, introduzidas em 2019 quando o Google esclareceu sua política sobre a exibição de trechos nos resultados de busca. Antes disso, quem queria limitar a exibição do trecho só tinha a opção drástica do nosnippet, que a desativava por completo; as novas diretivas passaram a oferecer um controle muito mais preciso.