Como funciona por dentro
Na aba Testador robots.txt, o parser aplica a especificação RFC 9309: seleciona o grupo mais específico de User-agent (sem fallback para * quando há match específico), avalia curingas * e âncoras $, resolve pela maior especificidade de comprimento e faz Allow vencer em empate. Na aba Sitemap, gera o XML <urlset> escapando caracteres especiais.
Passo a passo de uso
Cole seu robots.txt, informe o User-agent desejado (ex.: Googlebot) e teste caminhos de URL.
Veja na hora qual regra exata permitiu ou bloqueou o acesso segundo a RFC 9309.
Na aba Sitemap, liste as URLs com changefreq, priority e lastmod.
Copie ou baixe os arquivos robots.txt e sitemap.xml prontos para publicar na raiz do site.
Principais recursos e vantagens
- Simulador fiel à RFC 9309 com curingas (*), fim de linha ($) e prioridade por especificidade
- Suporte correto à regra de grupo específico (Googlebot não herda diretivas de User-agent: *)
- Gerador de sitemap.xml <urlset> com escape automático de &, <, >, " e '
- Execução local instantânea sem precisar fazer deploy nem consultas HTTP externas
Metodologia, fórmulas e padrões técnicos
O avaliador segue a precedência da RFC 9309: casa o grupo de User-agent, converte padrões em expressões equivalentes medindo o comprimento do padrão correspondente e resolve empates em favor de Allow. O construtor de sitemap escapa entidades XML obrigatórias em todas as tags <loc>.
Casos de uso práticos
- Evitar bloqueios acidentais de páginas importantes ou arquivos JS/CSS antes do deploy
- Validar regras complexas de Allow sobrepondo um Disallow amplo em e-commerces e portais
- Gerar sitemaps XML limpos para submissão manual no Google Search Console e Bing Webmaster
Exemplos resolvidos e casos especiais
Specific Allow Beats Shorter Disallow
Disallow: /tools/ | Allow: /tools/env-diff-sanitizer/ | Path: /tools/env-diff-sanitizer/
ALLOWED (longer Allow rule overrides shorter Disallow)
RFC 9309 resolves by matched character length, not file line number.
Agent-Specific Block
User-agent: GPTBot -> Disallow: /
BLOCKED for GPTBot, ALLOWED for Googlebot (falls back to `*`)
Targeted agent groups do not inherit wildcard `*` group rules.
Limitações e notas de precisão
- • O formato <urlset> gerado assume até 50.000 URLs em um único arquivo de sitemap
- • Diretivas não padronizadas como Crawl-delay são ignoradas no teste de permissão/bloqueio
Processamento local no navegador e privacidade
Conversores comuns enviam seus documentos, códigos ou vídeos para servidores externos. O Gerador de robots.txt e sitemap.xml roda direto na sua aba:
Seus textos e arquivos são processados localmente sem enviar conteúdo para servidores.
O Microdeck não registra nem armazena arquivos ou dados colados nas ferramentas.
Os resultados ficam apenas na memória do navegador e somem ao fechar ou limpar a aba.
Perguntas frequentes (FAQ)
Por que Allow: /tools/ libera a URL mesmo existindo um Disallow: / acima?
Pela RFC 9309, a ordem das linhas não decide o resultado, e sim o comprimento da regra correspondente. Como /tools/ (7 caracteres) é mais específico que / (1 caractere), Allow vence.
Se eu criar um bloco User-agent: Googlebot, ele ainda obedece às regras de User-agent: *?
Não. Quando existe um bloco específico correspondente ao User-agent do robô, ele passa a seguir exclusivamente aquele bloco e ignora as regras de User-agent: *.
Por que o símbolo & nas URLs do sitemap precisa virar &?
Na especificação XML e no protocolo Sitemaps, caracteres reservados como &, <, >, aspas e apóstrofo quebram o parser se não forem escapados como entidades XML.
A ferramenta baixa automaticamente o robots.txt do meu site?
Não. Para manter execução 100% local e evitar problemas de CORS/rede, basta colar o conteúdo que você deseja testar.
Outras ferramentas relacionadas
Simulador de Open Graph e Prévia de Links (SERP e Redes)
Veja como seus links aparecem no Google, X/Twitter, Discord, Slack, Facebook e iMessage
Gerador de Schema JSON-LD
Monte dados estruturados Schema.org em JSON-LD no navegador
Gerador de Redirecionamentos 301/302
Compile listas de redirects em massa para Nginx, Apache e Cloudflare