Fonctionnement technique
L’évaluateur sélectionne le groupe `User-agent` le plus spécifique correspondant au robot testé (sans repli sur `*` lorsqu’un bloc dédié existe), convertit jokers `*` et ancres de fin `$` en filtres de chemin ancrés, puis applique le motif correspondant le plus long selon la RFC 9309 (avec priorité à `Allow` en cas d’égalité).
Mode d’emploi étape par étape
Collez votre `robots.txt` en section 1 et indiquez un User-Agent (`Googlebot`, `GPTBot`, `*`) ainsi qu’un chemin d’URL.
Vérifiez immédiatement si l’URL est `AUTORISÉE` (`ALLOWED`) ou `BLOQUÉE` (`BLOCKED`) et quelle ligne exacte s’applique.
En section 2, collez vos URL canoniques `https://` (une par ligne) et réglez `changefreq`, `priority` et `lastmod`.
Copiez ou téléchargez `sitemap.xml` directement dans le dossier `public/` de votre site.
Fonctionnalités & performances
- Précédence authentique RFC 9309 par longueur maximale (gère `Allow: /tools/` prioritaire sur `Disallow: /`)
- Prend en charge jokers `*` et ancres finales `$` dans les directives `Allow` et `Disallow`
- Simule règles ciblées (`GPTBot`, `Bingbot`, `Googlebot`) avec bascule propre vers `*`
- Échappe correctement les caractères XML spéciaux (`&`, `<`, `>`) lors de la compilation `<urlset>`
- 100 % navigateur : testez vos arborescences de préproduction avant mise en ligne
Méthodologie, formules & standards
Applique la spécification RFC 9309 §2.2.2 du motif correspondant le plus long plutôt qu’une lecture naïve de haut en bas, tranchant les égalités en faveur d’`Allow` et autorisant par défaut lorsqu’aucun motif ne correspond.
Cas d’usage courants
- Valider des règles complexes `Disallow: /*?preview=` et `Allow:` avant une refonte SEO
- Contrôler la politique vis-à-vis des robots IA (`GPTBot`, `ClaudeBot`, `CCBot`) hors production
- Générer un `sitemap.xml` propre pour microsites, pages vitrines ou déploiements Cloudflare Pages
- Diagnostiquer des avertissements Search Console « Bloquée par le fichier robots.txt »
Exemples concrets & cas limites
Specific Allow Beats Shorter Disallow
Disallow: /tools/ | Allow: /tools/env-diff-sanitizer/ | Path: /tools/env-diff-sanitizer/
ALLOWED (longer Allow rule overrides shorter Disallow)
RFC 9309 resolves by matched character length, not file line number.
Agent-Specific Block
User-agent: GPTBot -> Disallow: /
BLOCKED for GPTBot, ALLOWED for Googlebot (falls back to `*`)
Targeted agent groups do not inherit wildcard `*` group rules.
Limites & notes de précision
- • La génération sitemap suppose moins de `50 000` URL canoniques dans un seul fichier ; les catalogues plus vastes doivent être scindés via un `<sitemapindex>`.
- • Les directives propriétaires non standard (`Crawl-delay`) sont ignorées lors du calcul d’autorisation/blocage.
Traitement local dans le navigateur & confidentialité
Les convertisseurs classiques envoient vos documents, extraits ou médias sur des serveurs distants. Testeur robots.txt RFC 9309 & Générateur sitemap.xml s’exécute directement dans votre onglet :
Vos textes et fichiers sont traités localement sans aucun envoi vers un serveur de calcul.
Microdeck n’enregistre ni ne stocke les fichiers ou données collés dans les outils.
Les résultats restent dans la mémoire de votre onglet et sont libérés dès que vous le fermez.
Questions fréquentes (FAQ)
Pourquoi `Allow: /tools/` l’emporte-t-il sur `Disallow: /` même placé en dessous ?
Les robots modernes conformes à la RFC 9309 retiennent la règle `Allow` ou `Disallow` dont le motif correspondant est le plus long, donnant l’avantage à `Allow` en cas d’égalité.
`Googlebot` hérite-t-il des règles de `User-agent: *` s’il possède un bloc `User-agent: Googlebot` dédié ?
Non. Dès qu’un robot correspond à un groupe `User-agent:` spécifique, il applique UNIQUEMENT ce bloc et ignore `User-agent: *`.
Les caractères `&` dans les URL sont-ils bien échappés dans `sitemap.xml` ?
Oui. Les caractères spéciaux XML (`&`, `<`, `>`, `"`, `'`) sont échappés proprement dans chaque balise `<loc>`.
L’outil interroge-t-il mon site web en direct ?
Non. Vous testez directement votre texte et vos URL en local.
Outils associés à découvrir
Prévisualiseur Open Graph & Aperçu SERP Social
Simulez vos aperçus de liens sur Google, X, Discord, Slack, Facebook et iMessage
Générateur de Données Structurées JSON-LD (Schema.org)
Créez des balises `<script type="application/ld+json">` valides pour FAQPage, Article, Product, SoftwareApp & Breadcrumb
Générateur de Règles de Redirection HTTP 301/302 en Masse
Compilez des listes d’URL vers `_redirects` Cloudflare/Netlify, Bulk CSV Cloudflare, Nginx, Apache `.htaccess` ou `vercel.json`