Microdeck.tools 100 % en el navegador

Generador de robots.txt y sitemap.xml + Probador RFC 9309

New

Prueba qué URLs bloquea o permite tu robots.txt siguiendo la precedencia exacta de longitud RFC 9309 y genera archivos sitemap.xml válidos con prioridades y fechas en local.

100 % en tu navegador Sin subir archivos Resultados al instante

1. RFC 9309 `robots.txt` Longest-Match Crawler Tester

ALLOWED (*)
Matched Rule: Allow: /tools/

2. XML `sitemap.xml` Generator

¿Te ahorró tiempo esta herramienta? Ayuda a mantener Microdeck gratis y al día. Opcional · Desde $3.

Cómo funciona por dentro

Implementa el algoritmo oficial RFC 9309 para evaluar qué directiva gana en tu robots.txt según el User-Agent y la longitud del patrón, junto con un compilador de sitemap.xml que escapa caracteres XML especiales automáticamente.

Instrucciones paso a paso

1

En la pestaña Probador de robots.txt, pega tu archivo robots.txt, indica el User-Agent (por ejemplo Googlebot) y escribe la ruta a comprobar.

2

Observa al instante si la ruta queda Permitida o Bloqueada y qué regla exacta ganó la evaluación.

3

En el generador de Sitemap XML, introduce tus URLs, frecuencia de cambio (changefreq), prioridad y fecha lastmod.

4

Copia o descarga tu robots.txt y sitemap.xml listos para subir a la raíz de tu dominio.

Funciones principales y ventajas

  • Evaluación fiel a RFC 9309 §2.2.2 por longitud de coincidencia (longest-match) y no por orden de aparición.
  • Soporte completo para comodines * y anclas de final de URL $ en patrones.
  • Resolución correcta de grupos User-Agent específicos sin heredar reglas de * cuando existe coincidencia explícita.
  • Generación de <urlset> sitemap.xml escapando caracteres especiales (&, <, >, ", ') conforme al estándar.

Metodología, fórmulas y estándares técnicos

El evaluador agrupa las directivas por User-Agent (priorizando el bloque coincidente más específico antes de recurrir a *) y convierte cada patrón con comodines * y fin $ en expresiones de coincidencia calculando la longitud del patrón ganador; en empate exacto, Allow vence a Disallow.

Casos de uso reales frecuentes

  • Verificar antes de publicar que rutas críticas como CSS, JS o fichas de producto no queden bloqueadas por error en robots.txt.
  • Evitar fugas de rastreo de paneles administrativos o parámetros de búsqueda interna.
  • Crear rápidamente sitemaps XML limpios para sitios estáticos, blogs o landings.

Ejemplos prácticos y casos límite

Specific Allow Beats Shorter Disallow

Entrada
Disallow: /tools/ | Allow: /tools/env-diff-sanitizer/ | Path: /tools/env-diff-sanitizer/
Salida
ALLOWED (longer Allow rule overrides shorter Disallow)

RFC 9309 resolves by matched character length, not file line number.

Agent-Specific Block

Entrada
User-agent: GPTBot -> Disallow: /
Salida
BLOCKED for GPTBot, ALLOWED for Googlebot (falls back to `*`)

Targeted agent groups do not inherit wildcard `*` group rules.

Límites y notas de precisión

  • • El estándar sitemaps.org limita cada archivo sitemap.xml individual a un máximo de 50.000 URLs o 50 MB sin comprimir.
  • • Las directivas no estándar propias de un único buscador fuera de RFC 9309 se ignoran en la simulación.

Procesamiento local en tu navegador y privacidad

Los conversores tradicionales suben tus documentos, textos o archivos multimedia a servidores remotos. Generador de robots.txt y sitemap.xml + Probador RFC 9309 se ejecuta dentro de tu pestaña:

Procesado en esta pestaña

Tus textos y archivos se procesan localmente sin enviarse a ningún servidor externo.

Sin registro de tus archivos

Microdeck no guarda ni registra el contenido que introduces en las herramientas.

Memoria temporal de la pestaña

Los resultados permanecen en la memoria de tu navegador y se liberan al cerrar o reiniciar.

Preguntas frecuentes (FAQ)

¿Por qué importa el orden de las reglas en robots.txt?

Según el estándar oficial RFC 9309 §2.2.2 utilizado por Google, NO gana la primera línea, sino la regla con el patrón más largo coincidente; y en caso de empate en longitud, Allow gana sobre Disallow.

¿Un bloque User-agent: Googlebot hereda las reglas de User-agent: *?

No. En RFC 9309, si existe un grupo específico para ese bot, solo aplican las reglas de ese grupo e ignora el grupo genérico *.

¿Puedo usar comodines * y el símbolo $ al final de las rutas?

Sí. El probador interpreta tanto * (cualquier secuencia de caracteres) como $ (coincidencia exacta al final de la URL).

¿Cuántas URLs admite un archivo sitemap.xml estándar?

Hasta 50.000 URLs o 50 MB por archivo; para sitios mayores se recomienda dividirlos mediante un Sitemap Index.

Explora herramientas relacionadas

Apoyar a Microdeck

Totalmente opcional · Desde $3 · Sin cuenta

Elige un importe (USD):Seleccionado:$5

El aporte mínimo es de $3 USD.

Totalmente opcional · Desde $3 · Pago seguro en Gumroad.