Microdeck.tools 100 % im Browser

robots.txt Tester (RFC 9309) & sitemap.xml Generator

New

Verhindern Sie versehentliche Deindexierung Ihrer Website oder blockierte Assets für den Googlebot. Fügen Sie Ihre `robots.txt` ein, testen Sie `Googlebot`, `GPTBot` oder beliebige Crawler gegen konkrete URL-Pfade nach RFC-9309-Längenspezifität – und erzeugen Sie direkt saubere, XML-maskierte `<urlset>`-Sitemaps (`sitemap.xml`).

100 % im Browser Kein Server-Upload Sofort-Ergebnisse

1. RFC 9309 `robots.txt` Longest-Match Crawler Tester

ALLOWED (*)
Matched Rule: Allow: /tools/

2. XML `sitemap.xml` Generator

Hat Ihnen dieses Tool Zeit gespart? Helfen Sie mit, Microdeck kostenlos und aktuell zu halten. Freiwillig · Ab $3.

So funktioniert es unter der Haube

Der Prüfer wählt den spezifischsten passenden `User-agent`-Block (und fällt nur bei keinem Treffer auf `*` zurück), wandelt `*`-Wildcards und `$`-Endanker in Pfadmatcher um und entscheidet gemäß RFC 9309 nach der längsten übereinstimmenden Regel (bei Gleichstand gewinnt `Allow`).

Schritt-für-Schritt-Anleitung

1

Fügen Sie Ihre `robots.txt` in Abschnitt 1 ein und wählen Sie User-Agent (`Googlebot`, `GPTBot`, `*`) plus Test-Pfad.

2

Prüfen Sie sofort, ob der Pfad `ALLOWED` oder `BLOCKED` ist und welche konkrete Zeile gegriffen hat.

3

Fügen Sie in Abschnitt 2 kanonische `https://`-URLs (eine pro Zeile) ein und wählen Sie `changefreq`, `priority` und `lastmod`.

4

Kopieren Sie die fertige `sitemap.xml` oder laden Sie sie direkt für Ihr `public/`-Verzeichnis herunter.

Wichtige Funktionen & Vorteile

  • Echte RFC-9309-Längenpriorität (erkennt korrekt, wenn `Allow: /tools/` ein kürzeres `Disallow: /` überschreibt)
  • Unterstützt `*`-Wildcards und `$`-Pfadende-Anker in `Allow`- und `Disallow`-Direktiven
  • Simuliert gezielte Bot-Blöcke (`GPTBot`, `Bingbot`, `Googlebot`) mit sauberem `*`-Fallback
  • Maskiert XML-Sonderzeichen (`&`, `<`, `>`) automatisch in `<urlset>`-Sitemaps
  • 100 % lokal im Browser: unveröffentlichte Staging-Strukturen sicher vorab testen

Methodik, Formeln & technische Standards

Folgt RFC 9309 §2.2.2 (längste spezifische Übereinstimmung statt bloßer Zeilenreihenfolge), löst Längengleichstand zugunsten von `Allow` auf und erlaubt Pfade standardmäßig, wenn keine Regel zutrifft.

Häufige Anwendungsfälle aus der Praxis

  • Komplexe `Disallow: /*?preview=`- und `Allow:`-Ausnahmen vor einem SEO-Release prüfen
  • KI-Crawler-Richtlinien (`GPTBot`, `ClaudeBot`, `CCBot`) trocken testen, ohne Produktivdateien anzufassen
  • Saubere `sitemap.xml`-Dateien für Landingpages, Microsites oder Cloudflare-Pages-Deployments erzeugen
  • Unerwartete „Durch robots.txt blockiert“-Meldungen der Google Search Console nachstellen

Praxisbeispiele & Grenzfälle

Specific Allow Beats Shorter Disallow

Eingabe
Disallow: /tools/ | Allow: /tools/env-diff-sanitizer/ | Path: /tools/env-diff-sanitizer/
Ausgabe
ALLOWED (longer Allow rule overrides shorter Disallow)

RFC 9309 resolves by matched character length, not file line number.

Agent-Specific Block

Eingabe
User-agent: GPTBot -> Disallow: /
Ausgabe
BLOCKED for GPTBot, ALLOWED for Googlebot (falls back to `*`)

Targeted agent groups do not inherit wildcard `*` group rules.

Hinweise zu Grenzen & Genauigkeit

  • • Die Sitemap-Ausgabe geht von sauberen kanonischen URLs unterhalb des Limits von 50.000 URLs pro Datei aus; größere Portale benötigen einen `<sitemapindex>`.
  • • Nicht standardisierte Erweiterungen (z. B. `Crawl-delay`) werden bei der Pfad-Erlaubnisprüfung sicher ignoriert.

Lokale Verarbeitung im Browser & Datenschutz

Herkömmliche Online-Konverter laden Ihre Dokumente, Texte oder Mediendateien auf fremde Server. robots.txt Tester (RFC 9309) & sitemap.xml Generator läuft direkt in Ihrem Browser-Tab:

Verarbeitung in diesem Tab

Ihre Texte und Dateien werden lokal berechnet, ohne Inhalte an einen Verarbeitungsserver zu senden.

Keine Speicherung von Eingaben

Microdeck protokolliert oder speichert weder Ihre Dateien noch Texteingaben (normale CDN-Abrufe laden lediglich die statische Seite).

Flüchtiger Tab-Speicher

Arbeitsergebnisse bleiben ausschließlich im Arbeitsspeicher des Tabs und werden beim Zurücksetzen oder Schließen freigegeben.

Häufig gestellte Fragen (FAQ)

Warum schlägt `Allow: /tools/` ein `Disallow: /`, selbst wenn es danach steht?

Moderne Crawler nach RFC 9309 wählen immer das längste übereinstimmende `Allow`- oder `Disallow`-Muster; bei identischer Länge gewinnt `Allow`.

Erbt `Googlebot` Regeln aus `User-agent: *`, wenn es einen eigenen Googlebot-Block gibt?

Nein. Sobald ein Crawler einen eigenen `User-agent:`-Block findet, wendet er ausschließlich diesen an und ignoriert `User-agent: *`.

Werden `&`-Zeichen in Query-Parametern in `sitemap.xml` sauber maskiert?

Ja. Alle XML-Sonderzeichen (`&`, `<`, `>`, `"`, `'`) werden innerhalb der `<loc>`-Elemente korrekt escaped.

Ruft das Tool meine Live-Website ab?

Nein. Fügen Sie Ihren Policy-Text und Ihre URLs einfach lokal ein.

Ähnliche Mikro-Tools entdecken

Microdeck unterstützen

Vollkommen freiwillig · Ab $3 · Kein Konto nötig

Betrag wählen (USD):Ausgewählt:$5

Der Mindestbetrag beträgt $3 USD.

Vollkommen freiwillig · Ab $3 · Checkout öffnet über Gumroad.