Microdeck.tools 100% no navegador

Gerador de robots.txt e sitemap.xml

New

Simule se URLs são permitidas ou bloqueadas no robots.txt segundo a RFC 9309 e gere arquivos sitemap.xml válidos com escape automático 100% no navegador.

100% no navegador Sem envio ao servidor Resultados na hora

1. RFC 9309 `robots.txt` Longest-Match Crawler Tester

ALLOWED (*)
Matched Rule: Allow: /tools/

2. XML `sitemap.xml` Generator

Esta ferramenta economizou seu tempo? Ajude a manter o Microdeck grátis e atualizado. Opcional · A partir de $3.

Como funciona por dentro

Na aba Testador robots.txt, o parser aplica a especificação RFC 9309: seleciona o grupo mais específico de User-agent (sem fallback para * quando há match específico), avalia curingas * e âncoras $, resolve pela maior especificidade de comprimento e faz Allow vencer em empate. Na aba Sitemap, gera o XML <urlset> escapando caracteres especiais.

Passo a passo de uso

1

Cole seu robots.txt, informe o User-agent desejado (ex.: Googlebot) e teste caminhos de URL.

2

Veja na hora qual regra exata permitiu ou bloqueou o acesso segundo a RFC 9309.

3

Na aba Sitemap, liste as URLs com changefreq, priority e lastmod.

4

Copie ou baixe os arquivos robots.txt e sitemap.xml prontos para publicar na raiz do site.

Principais recursos e vantagens

  • Simulador fiel à RFC 9309 com curingas (*), fim de linha ($) e prioridade por especificidade
  • Suporte correto à regra de grupo específico (Googlebot não herda diretivas de User-agent: *)
  • Gerador de sitemap.xml <urlset> com escape automático de &, <, >, " e '
  • Execução local instantânea sem precisar fazer deploy nem consultas HTTP externas

Metodologia, fórmulas e padrões técnicos

O avaliador segue a precedência da RFC 9309: casa o grupo de User-agent, converte padrões em expressões equivalentes medindo o comprimento do padrão correspondente e resolve empates em favor de Allow. O construtor de sitemap escapa entidades XML obrigatórias em todas as tags <loc>.

Casos de uso práticos

  • Evitar bloqueios acidentais de páginas importantes ou arquivos JS/CSS antes do deploy
  • Validar regras complexas de Allow sobrepondo um Disallow amplo em e-commerces e portais
  • Gerar sitemaps XML limpos para submissão manual no Google Search Console e Bing Webmaster

Exemplos resolvidos e casos especiais

Specific Allow Beats Shorter Disallow

Entrada
Disallow: /tools/ | Allow: /tools/env-diff-sanitizer/ | Path: /tools/env-diff-sanitizer/
Saída
ALLOWED (longer Allow rule overrides shorter Disallow)

RFC 9309 resolves by matched character length, not file line number.

Agent-Specific Block

Entrada
User-agent: GPTBot -> Disallow: /
Saída
BLOCKED for GPTBot, ALLOWED for Googlebot (falls back to `*`)

Targeted agent groups do not inherit wildcard `*` group rules.

Limitações e notas de precisão

  • • O formato <urlset> gerado assume até 50.000 URLs em um único arquivo de sitemap
  • • Diretivas não padronizadas como Crawl-delay são ignoradas no teste de permissão/bloqueio

Processamento local no navegador e privacidade

Conversores comuns enviam seus documentos, códigos ou vídeos para servidores externos. O Gerador de robots.txt e sitemap.xml roda direto na sua aba:

Processado nesta aba

Seus textos e arquivos são processados localmente sem enviar conteúdo para servidores.

Sem registro de conteúdo

O Microdeck não registra nem armazena arquivos ou dados colados nas ferramentas.

Memória temporária da aba

Os resultados ficam apenas na memória do navegador e somem ao fechar ou limpar a aba.

Perguntas frequentes (FAQ)

Por que Allow: /tools/ libera a URL mesmo existindo um Disallow: / acima?

Pela RFC 9309, a ordem das linhas não decide o resultado, e sim o comprimento da regra correspondente. Como /tools/ (7 caracteres) é mais específico que / (1 caractere), Allow vence.

Se eu criar um bloco User-agent: Googlebot, ele ainda obedece às regras de User-agent: *?

Não. Quando existe um bloco específico correspondente ao User-agent do robô, ele passa a seguir exclusivamente aquele bloco e ignora as regras de User-agent: *.

Por que o símbolo & nas URLs do sitemap precisa virar &amp;?

Na especificação XML e no protocolo Sitemaps, caracteres reservados como &, <, >, aspas e apóstrofo quebram o parser se não forem escapados como entidades XML.

A ferramenta baixa automaticamente o robots.txt do meu site?

Não. Para manter execução 100% local e evitar problemas de CORS/rede, basta colar o conteúdo que você deseja testar.

Outras ferramentas relacionadas

Apoiar o Microdeck

Totalmente opcional · A partir de $3 · Sem cadastro

Escolha um valor (USD):Selecionado:$5

O valor mínimo é de $3 USD.

100% opcional · A partir de $3 · Checkout seguro no Gumroad.