Validador de robots.txt

Cole o conteúdo do seu robots.txt para verificar a sintaxe. Analisa as diretivas User-agent, Disallow, Allow e Sitemap e visualiza as regras de acesso para rastreadores.

Última atualização: 2026-09-13

[[ labels.url_label ]]

[[ fetchError ]]

[[ labels.or_paste ]]

[[ labels.input_label ]]

[[ labels.sample_label ]]:

[[ labels.no_input ]]

[[ labels.result_label ]]

[[ labels.errors_label ]]

[[ labels.line_label ]] [[ err.line ]]: [[ errorMessage(err) ]]

✓ [[ labels.no_errors ]]

[[ labels.blocks_label ]]

User-agent: [[ ua === '*' ? labels.all_crawlers + ' (*)' : ua ]]

Disallow
Allow	[[ path ]]
[[ labels.no_rules ]]
Crawl-delay	[[ block.crawlDelay ]]

[[ labels.sitemaps_label ]]

[[ url ]]

O que é o validador de robots.txt

O validador de robots.txt permite verificar erros de sintaxe e pequenos deslizes bastando colar o conteúdo do arquivo ou informar a URL do site para buscá-lo diretamente. A ferramenta analisa cada diretiva — User-agent, Disallow, Allow, Sitemap e Crawl-delay — e organiza, em uma única visão clara, exatamente quais caminhos cada rastreador tem permissão ou está bloqueado de acessar.

Um robots.txt escrito manualmente é mais fácil de sair errado do que parece: diretivas na ordem incorreta, uma regra Allow sem o correspondente Disallow, ou um bloco colocado sob o grupo de User-agent errado podem passar despercebidos numa leitura rápida e, ainda assim, acabar afastando todo o seu site dos resultados de busca. Verificar o arquivo com esta ferramenta antes de publicá-lo permite detectar esses erros enquanto ainda é simples corrigi-los.

Como usar o validador de robots.txt

Prepare o robots.txt que deseja verificar Tenha o conteúdo do arquivo copiado e pronto, ou simplesmente saiba a URL do site já publicado que deseja inspecionar.
Busque por URL ou cole diretamente Digite o endereço do site no campo "Buscar por URL" para obtê-lo automaticamente, ou cole o texto diretamente na área de texto abaixo.
Revise os erros e avisos no resultado Diretivas desconhecidas, diretivas que aparecem antes de qualquer linha User-agent e outros erros são listados junto com o número exato da linha onde ocorrem.
Verifique os caminhos permitidos e bloqueados por rastreador O resultado organiza todas as regras por rastreador, para que você possa comparar rapidamente o que realmente está bloqueado com o que pretendia.
Confirme se a diretiva Sitemap está presente e correta Verifique se a URL do seu mapa do site está escrita corretamente e incluída, já que os mecanismos de busca dependem dessa linha para encontrá-lo.

Dicas para aproveitar melhor

User-agent: * se aplica a todos os rastreadores. Blocos com um nome de bot específico (ex.: Googlebot) têm prioridade sobre o bloco curinga.
Disallow: com valor vazio significa "permitir todos os caminhos". Disallow: / (apenas barra) bloqueia tudo. Não os confunda.
A diretiva Allow: tem prioridade sobre Disallow: quando ambas coincidem. Por exemplo, Disallow: /private/ seguido de Allow: /private/public.html permite aquele arquivo específico.
Crawl-delay: é uma diretiva não padronizada que especifica o intervalo entre requisições em segundos. Bing e Yandex a respeitam, mas o Google não a suporta.
A diretiva Sitemap: informa aos mecanismos de busca a URL do seu mapa do site. Google e Bing a reconhecem; combine-a com o envio manual no Search Console.

Casos de uso

Verificação final antes de relançar um site

Cole o robots.txt de produção antes de publicar para garantir que uma regra de bloqueio total do ambiente de testes não foi acidentalmente mantida.

Auditar o arquivo padrão de um novo CMS ou framework

Muitas plataformas geram automaticamente um robots.txt na instalação. Verifique aqui para confirmar que ele não está bloqueando diretórios que você realmente quer indexados.

Como verificação técnica rápida em uma auditoria de SEO

Quando o posicionamento de um site está abaixo do esperado, esta ferramenta permite confirmar em segundos se o acesso de rastreamento faz parte do problema.

Inspecionar o robots.txt de um concorrente

Busque o site de um concorrente pela URL para ver quais diretórios ou tipos de arquivo eles mantêm deliberadamente fora do rastreamento dos mecanismos de busca.

Glossário

User-agent: A diretiva que indica a qual rastreador um grupo de regras se aplica. * corresponde a qualquer rastreador que não tenha uma regra mais específica própria.
Disallow: A diretiva que bloqueia o rastreamento de um determinado caminho. Um valor vazio significa "permitir tudo", o que é fácil de confundir com apenas uma barra, que significa "bloquear tudo".
Allow: A diretiva usada para abrir uma exceção dentro de um caminho que uma regra Disallow bloquearia, permitindo apenas aquele arquivo ou subcaminho específico.
Diretiva Sitemap: Informa aos mecanismos de busca onde encontrar o arquivo XML do seu mapa do site. É lida independentemente de qualquer regra Disallow e é sempre processada.
Crawl-delay: Uma diretiva não padronizada que especifica o intervalo mínimo, em segundos, entre requisições. Bing e Yandex a respeitam, mas o Google a ignora completamente.
Protocolo de Exclusão de Robôs (REP): A convenção subjacente que o robots.txt implementa, criada em 1994. Permaneceu como um padrão informal por quase três décadas até ser formalmente publicada como RFC 9309 em 2022.

Perguntas frequentes

Sim. Bloquear uma página com Disallow impede que rastreadores leiam seu conteúdo, então ela não será indexada. No entanto, se a página tiver links externos, os mecanismos de busca podem listá-la como "conhecida, mas não rastreada". Para exclusão completa, combine com a meta tag noindex.

Não. O robots.txt tem escopo por origem. example.com/robots.txt não se aplica a blog.example.com. Cada subdomínio precisa do seu próprio arquivo robots.txt.

O Googlebot suporta * (qualquer sequência de caracteres) e $ (fim da URL). Por exemplo, Disallow: /private/*.pdf$ bloqueia todos os arquivos PDF em /private/. Nem todos os rastreadores suportam curingas.

Curiosidade — O nascimento do robots.txt: o dia em que a internet aprendeu as boas maneiras

Em 1994, o engenheiro holandês Martijn Koster inventou o Protocolo de Exclusão de Robôs (REP). Na época, os rastreadores web percorriam sites sem controle, sobrecarregando servidores. A ideia de Koster foi simples: "Se você colocar um arquivo com regras na raiz do site, os rastreadores o lerão." Esse arquivo tornou-se o robots.txt.

O ponto crucial é que robots.txt é um acordo voluntário de cavalheiros, sem poder coercitivo. Rastreadores bem-intencionados como Googlebot e Bingbot o respeitam, mas bots maliciosos o ignoram. Por isso, robots.txt funciona para indicar aos mecanismos de busca o que não indexar, mas nunca deve ser usado para proteger conteúdo sensível do acesso não autorizado.

O Protocolo de Exclusão de Robôs existiu como convenção informal por quase três décadas até ser formalmente registrado pela IETF como RFC 9309 em setembro de 2022, quase 28 anos após sua criação.

Ver todas as curiosidades