Microdeck.tools 100 % dans le navigateur

Testeur robots.txt RFC 9309 & Générateur sitemap.xml

New

Évitez de désindexer accidentellement des pages stratégiques ou de bloquer les ressources Googlebot. Collez votre `robots.txt` pour simuler `Googlebot`, `GPTBot` ou tout robot selon la priorité RFC 9309 du motif le plus long — puis compilez des fichiers `sitemap.xml` `<urlset>` propres prêts à déployer.

100 % dans le navigateur Aucun envoi serveur Résultats instantanés

1. RFC 9309 `robots.txt` Longest-Match Crawler Tester

ALLOWED (*)
Matched Rule: Allow: /tools/

2. XML `sitemap.xml` Generator

Cet outil vous a-t-il fait gagner du temps ? Aidez Microdeck à rester gratuit et maintenu. Facultatif · Dès $3.

Fonctionnement technique

L’évaluateur sélectionne le groupe `User-agent` le plus spécifique correspondant au robot testé (sans repli sur `*` lorsqu’un bloc dédié existe), convertit jokers `*` et ancres de fin `$` en filtres de chemin ancrés, puis applique le motif correspondant le plus long selon la RFC 9309 (avec priorité à `Allow` en cas d’égalité).

Mode d’emploi étape par étape

1

Collez votre `robots.txt` en section 1 et indiquez un User-Agent (`Googlebot`, `GPTBot`, `*`) ainsi qu’un chemin d’URL.

2

Vérifiez immédiatement si l’URL est `AUTORISÉE` (`ALLOWED`) ou `BLOQUÉE` (`BLOCKED`) et quelle ligne exacte s’applique.

3

En section 2, collez vos URL canoniques `https://` (une par ligne) et réglez `changefreq`, `priority` et `lastmod`.

4

Copiez ou téléchargez `sitemap.xml` directement dans le dossier `public/` de votre site.

Fonctionnalités & performances

  • Précédence authentique RFC 9309 par longueur maximale (gère `Allow: /tools/` prioritaire sur `Disallow: /`)
  • Prend en charge jokers `*` et ancres finales `$` dans les directives `Allow` et `Disallow`
  • Simule règles ciblées (`GPTBot`, `Bingbot`, `Googlebot`) avec bascule propre vers `*`
  • Échappe correctement les caractères XML spéciaux (`&`, `<`, `>`) lors de la compilation `<urlset>`
  • 100 % navigateur : testez vos arborescences de préproduction avant mise en ligne

Méthodologie, formules & standards

Applique la spécification RFC 9309 §2.2.2 du motif correspondant le plus long plutôt qu’une lecture naïve de haut en bas, tranchant les égalités en faveur d’`Allow` et autorisant par défaut lorsqu’aucun motif ne correspond.

Cas d’usage courants

  • Valider des règles complexes `Disallow: /*?preview=` et `Allow:` avant une refonte SEO
  • Contrôler la politique vis-à-vis des robots IA (`GPTBot`, `ClaudeBot`, `CCBot`) hors production
  • Générer un `sitemap.xml` propre pour microsites, pages vitrines ou déploiements Cloudflare Pages
  • Diagnostiquer des avertissements Search Console « Bloquée par le fichier robots.txt »

Exemples concrets & cas limites

Specific Allow Beats Shorter Disallow

Entrée
Disallow: /tools/ | Allow: /tools/env-diff-sanitizer/ | Path: /tools/env-diff-sanitizer/
Sortie
ALLOWED (longer Allow rule overrides shorter Disallow)

RFC 9309 resolves by matched character length, not file line number.

Agent-Specific Block

Entrée
User-agent: GPTBot -> Disallow: /
Sortie
BLOCKED for GPTBot, ALLOWED for Googlebot (falls back to `*`)

Targeted agent groups do not inherit wildcard `*` group rules.

Limites & notes de précision

  • • La génération sitemap suppose moins de `50 000` URL canoniques dans un seul fichier ; les catalogues plus vastes doivent être scindés via un `<sitemapindex>`.
  • • Les directives propriétaires non standard (`Crawl-delay`) sont ignorées lors du calcul d’autorisation/blocage.

Traitement local dans le navigateur & confidentialité

Les convertisseurs classiques envoient vos documents, extraits ou médias sur des serveurs distants. Testeur robots.txt RFC 9309 & Générateur sitemap.xml s’exécute directement dans votre onglet :

Traité dans cet onglet

Vos textes et fichiers sont traités localement sans aucun envoi vers un serveur de calcul.

Aucune journalisation des données

Microdeck n’enregistre ni ne stocke les fichiers ou données collés dans les outils.

Mémoire éphémère de l’onglet

Les résultats restent dans la mémoire de votre onglet et sont libérés dès que vous le fermez.

Questions fréquentes (FAQ)

Pourquoi `Allow: /tools/` l’emporte-t-il sur `Disallow: /` même placé en dessous ?

Les robots modernes conformes à la RFC 9309 retiennent la règle `Allow` ou `Disallow` dont le motif correspondant est le plus long, donnant l’avantage à `Allow` en cas d’égalité.

`Googlebot` hérite-t-il des règles de `User-agent: *` s’il possède un bloc `User-agent: Googlebot` dédié ?

Non. Dès qu’un robot correspond à un groupe `User-agent:` spécifique, il applique UNIQUEMENT ce bloc et ignore `User-agent: *`.

Les caractères `&` dans les URL sont-ils bien échappés dans `sitemap.xml` ?

Oui. Les caractères spéciaux XML (`&`, `<`, `>`, `"`, `'`) sont échappés proprement dans chaque balise `<loc>`.

L’outil interroge-t-il mon site web en direct ?

Non. Vous testez directement votre texte et vos URL en local.

Outils associés à découvrir

Soutenir Microdeck

Entièrement facultatif · Dès $3 · Sans compte

Choisir un montant (USD) :Sélectionné :$5

Le montant minimum est de $3 USD.

100 % facultatif · Dès $3 · Paiement sécurisé via Gumroad.