Cómo funciona por dentro
Implementa el algoritmo oficial RFC 9309 para evaluar qué directiva gana en tu robots.txt según el User-Agent y la longitud del patrón, junto con un compilador de sitemap.xml que escapa caracteres XML especiales automáticamente.
Instrucciones paso a paso
En la pestaña Probador de robots.txt, pega tu archivo robots.txt, indica el User-Agent (por ejemplo Googlebot) y escribe la ruta a comprobar.
Observa al instante si la ruta queda Permitida o Bloqueada y qué regla exacta ganó la evaluación.
En el generador de Sitemap XML, introduce tus URLs, frecuencia de cambio (changefreq), prioridad y fecha lastmod.
Copia o descarga tu robots.txt y sitemap.xml listos para subir a la raíz de tu dominio.
Funciones principales y ventajas
- Evaluación fiel a RFC 9309 §2.2.2 por longitud de coincidencia (longest-match) y no por orden de aparición.
- Soporte completo para comodines * y anclas de final de URL $ en patrones.
- Resolución correcta de grupos User-Agent específicos sin heredar reglas de * cuando existe coincidencia explícita.
- Generación de <urlset> sitemap.xml escapando caracteres especiales (&, <, >, ", ') conforme al estándar.
Metodología, fórmulas y estándares técnicos
El evaluador agrupa las directivas por User-Agent (priorizando el bloque coincidente más específico antes de recurrir a *) y convierte cada patrón con comodines * y fin $ en expresiones de coincidencia calculando la longitud del patrón ganador; en empate exacto, Allow vence a Disallow.
Casos de uso reales frecuentes
- Verificar antes de publicar que rutas críticas como CSS, JS o fichas de producto no queden bloqueadas por error en robots.txt.
- Evitar fugas de rastreo de paneles administrativos o parámetros de búsqueda interna.
- Crear rápidamente sitemaps XML limpios para sitios estáticos, blogs o landings.
Ejemplos prácticos y casos límite
Specific Allow Beats Shorter Disallow
Disallow: /tools/ | Allow: /tools/env-diff-sanitizer/ | Path: /tools/env-diff-sanitizer/
ALLOWED (longer Allow rule overrides shorter Disallow)
RFC 9309 resolves by matched character length, not file line number.
Agent-Specific Block
User-agent: GPTBot -> Disallow: /
BLOCKED for GPTBot, ALLOWED for Googlebot (falls back to `*`)
Targeted agent groups do not inherit wildcard `*` group rules.
Límites y notas de precisión
- • El estándar sitemaps.org limita cada archivo sitemap.xml individual a un máximo de 50.000 URLs o 50 MB sin comprimir.
- • Las directivas no estándar propias de un único buscador fuera de RFC 9309 se ignoran en la simulación.
Procesamiento local en tu navegador y privacidad
Los conversores tradicionales suben tus documentos, textos o archivos multimedia a servidores remotos. Generador de robots.txt y sitemap.xml + Probador RFC 9309 se ejecuta dentro de tu pestaña:
Tus textos y archivos se procesan localmente sin enviarse a ningún servidor externo.
Microdeck no guarda ni registra el contenido que introduces en las herramientas.
Los resultados permanecen en la memoria de tu navegador y se liberan al cerrar o reiniciar.
Preguntas frecuentes (FAQ)
¿Por qué importa el orden de las reglas en robots.txt?
Según el estándar oficial RFC 9309 §2.2.2 utilizado por Google, NO gana la primera línea, sino la regla con el patrón más largo coincidente; y en caso de empate en longitud, Allow gana sobre Disallow.
¿Un bloque User-agent: Googlebot hereda las reglas de User-agent: *?
No. En RFC 9309, si existe un grupo específico para ese bot, solo aplican las reglas de ese grupo e ignora el grupo genérico *.
¿Puedo usar comodines * y el símbolo $ al final de las rutas?
Sí. El probador interpreta tanto * (cualquier secuencia de caracteres) como $ (coincidencia exacta al final de la URL).
¿Cuántas URLs admite un archivo sitemap.xml estándar?
Hasta 50.000 URLs o 50 MB por archivo; para sitios mayores se recomienda dividirlos mediante un Sitemap Index.
Explora herramientas relacionadas
Vista Previa Open Graph y Tarjetas Sociales + SERP
Simula cómo se ven tus enlaces en Google, X/Twitter, Discord, Slack, Facebook e iMessage
Generador de Datos Estructurados JSON-LD (Schema.org)
Construye esquemas SEO válidos para FAQPage, Article, Product, Software y Breadcrumbs.
Generador de Redirecciones 301 / 302 en Lote
Convierte listas de URLs en reglas para Cloudflare, Netlify, Nginx, Apache y Vercel.