So funktioniert es unter der Haube
Der Prüfer wählt den spezifischsten passenden `User-agent`-Block (und fällt nur bei keinem Treffer auf `*` zurück), wandelt `*`-Wildcards und `$`-Endanker in Pfadmatcher um und entscheidet gemäß RFC 9309 nach der längsten übereinstimmenden Regel (bei Gleichstand gewinnt `Allow`).
Schritt-für-Schritt-Anleitung
Fügen Sie Ihre `robots.txt` in Abschnitt 1 ein und wählen Sie User-Agent (`Googlebot`, `GPTBot`, `*`) plus Test-Pfad.
Prüfen Sie sofort, ob der Pfad `ALLOWED` oder `BLOCKED` ist und welche konkrete Zeile gegriffen hat.
Fügen Sie in Abschnitt 2 kanonische `https://`-URLs (eine pro Zeile) ein und wählen Sie `changefreq`, `priority` und `lastmod`.
Kopieren Sie die fertige `sitemap.xml` oder laden Sie sie direkt für Ihr `public/`-Verzeichnis herunter.
Wichtige Funktionen & Vorteile
- Echte RFC-9309-Längenpriorität (erkennt korrekt, wenn `Allow: /tools/` ein kürzeres `Disallow: /` überschreibt)
- Unterstützt `*`-Wildcards und `$`-Pfadende-Anker in `Allow`- und `Disallow`-Direktiven
- Simuliert gezielte Bot-Blöcke (`GPTBot`, `Bingbot`, `Googlebot`) mit sauberem `*`-Fallback
- Maskiert XML-Sonderzeichen (`&`, `<`, `>`) automatisch in `<urlset>`-Sitemaps
- 100 % lokal im Browser: unveröffentlichte Staging-Strukturen sicher vorab testen
Methodik, Formeln & technische Standards
Folgt RFC 9309 §2.2.2 (längste spezifische Übereinstimmung statt bloßer Zeilenreihenfolge), löst Längengleichstand zugunsten von `Allow` auf und erlaubt Pfade standardmäßig, wenn keine Regel zutrifft.
Häufige Anwendungsfälle aus der Praxis
- Komplexe `Disallow: /*?preview=`- und `Allow:`-Ausnahmen vor einem SEO-Release prüfen
- KI-Crawler-Richtlinien (`GPTBot`, `ClaudeBot`, `CCBot`) trocken testen, ohne Produktivdateien anzufassen
- Saubere `sitemap.xml`-Dateien für Landingpages, Microsites oder Cloudflare-Pages-Deployments erzeugen
- Unerwartete „Durch robots.txt blockiert“-Meldungen der Google Search Console nachstellen
Praxisbeispiele & Grenzfälle
Specific Allow Beats Shorter Disallow
Disallow: /tools/ | Allow: /tools/env-diff-sanitizer/ | Path: /tools/env-diff-sanitizer/
ALLOWED (longer Allow rule overrides shorter Disallow)
RFC 9309 resolves by matched character length, not file line number.
Agent-Specific Block
User-agent: GPTBot -> Disallow: /
BLOCKED for GPTBot, ALLOWED for Googlebot (falls back to `*`)
Targeted agent groups do not inherit wildcard `*` group rules.
Hinweise zu Grenzen & Genauigkeit
- • Die Sitemap-Ausgabe geht von sauberen kanonischen URLs unterhalb des Limits von 50.000 URLs pro Datei aus; größere Portale benötigen einen `<sitemapindex>`.
- • Nicht standardisierte Erweiterungen (z. B. `Crawl-delay`) werden bei der Pfad-Erlaubnisprüfung sicher ignoriert.
Lokale Verarbeitung im Browser & Datenschutz
Herkömmliche Online-Konverter laden Ihre Dokumente, Texte oder Mediendateien auf fremde Server. robots.txt Tester (RFC 9309) & sitemap.xml Generator läuft direkt in Ihrem Browser-Tab:
Ihre Texte und Dateien werden lokal berechnet, ohne Inhalte an einen Verarbeitungsserver zu senden.
Microdeck protokolliert oder speichert weder Ihre Dateien noch Texteingaben (normale CDN-Abrufe laden lediglich die statische Seite).
Arbeitsergebnisse bleiben ausschließlich im Arbeitsspeicher des Tabs und werden beim Zurücksetzen oder Schließen freigegeben.
Häufig gestellte Fragen (FAQ)
Warum schlägt `Allow: /tools/` ein `Disallow: /`, selbst wenn es danach steht?
Moderne Crawler nach RFC 9309 wählen immer das längste übereinstimmende `Allow`- oder `Disallow`-Muster; bei identischer Länge gewinnt `Allow`.
Erbt `Googlebot` Regeln aus `User-agent: *`, wenn es einen eigenen Googlebot-Block gibt?
Nein. Sobald ein Crawler einen eigenen `User-agent:`-Block findet, wendet er ausschließlich diesen an und ignoriert `User-agent: *`.
Werden `&`-Zeichen in Query-Parametern in `sitemap.xml` sauber maskiert?
Ja. Alle XML-Sonderzeichen (`&`, `<`, `>`, `"`, `'`) werden innerhalb der `<loc>`-Elemente korrekt escaped.
Ruft das Tool meine Live-Website ab?
Nein. Fügen Sie Ihren Policy-Text und Ihre URLs einfach lokal ein.
Ähnliche Mikro-Tools entdecken
Open Graph & Social SERP Vorschau-Tester
Link-Vorschauen für Google, X/Twitter, Discord, Slack, Facebook & iMessage testen
JSON-LD Schema Generator (Strukturierte Daten)
Valide Schema.org-`<script type="application/ld+json">`-Snippets für FAQPage, Article, Product, SoftwareApplication & BreadcrumbList bauen
301/302 Weiterleitung Generator (.htaccess, Nginx, Cloudflare, Vercel)
Massenhafte URL-Umleitungen sauber in Cloudflare/Netlify `_redirects`, Cloudflare Bulk CSV, Nginx, Apache `.htaccess` oder `vercel.json` kompilieren