Cara Kerja di Balik Layar
Evaluator memilih grup `User-agent` yang paling spesifik (hanya jatuh ke `*` jika tidak ada grup agen target yang cocok), mengubah wildcard `*` dan jangkar akhir `$` menjadi pencocok path, lalu memilih pola kecocokan terpanjang sesuai RFC 9309 (memenangkan `Allow` jika panjangnya seri).
Panduan Langkah demi Langkah
Tempel isi `robots.txt` Anda di Bagian 1 dan tentukan Crawler User-Agent (`Googlebot`, `GPTBot`, `*`) + URL Path.
Periksa apakah URL berstatus `ALLOWED` atau `BLOCKED` serta baris aturan persis mana yang memicunya.
Di Bagian 2, tempel daftar URL kanonikal `https://` (satu per baris) dan atur `changefreq`, `priority`, serta `lastmod`.
Salin atau unduh `sitemap.xml` langsung ke folder `public/` situs Anda.
Fitur Utama & Performa
- Presedensi panjang pola RFC 9309 sejati (menangani `Allow: /tools/` yang menimpa `Disallow: /`)
- Mendukung wildcard `*` dan jangkar akhir path `$` di dalam direktif `Allow` dan `Disallow`
- Mensimulasikan aturan bot spesifik (`GPTBot`, `Bingbot`, `Googlebot`) dengan fallback wildcard `*` secara akurat
- Melakukan XML-escape karakter URL (`&`, `<`, `>`) secara aman saat menyusun sitemap `<urlset>`
- 100% lokal di browser: uji arsitektur situs staging yang belum dirilis secara privat
Metodologi, Rumus & Standar Teknis
Mengikuti spesifikasi RFC 9309 §2.2.2 longest-match specificity alih-alih pencocokan baris pertama dari atas ke bawah, memecahkan seri untuk kemenangan `Allow`, dan membolehkan akses secara default jika tidak ada pola yang cocok.
Contoh Penggunaan Nyata
- Menguji pengecualian `Disallow: /*?preview=` dan `Allow:` yang kompleks sebelum merilis pembaruan SEO
- Memverifikasi kebijakan crawler AI (`GPTBot`, `ClaudeBot`, `CCBot`) tanpa menyentuh file produksi
- Membuat manifes `sitemap.xml` bersih untuk landing page, microsite, atau deploy Cloudflare Pages
- Melakukan debugging peringatan Search Console "Blocked by robots.txt" yang tak terduga
Contoh Kasus & Uji Coba
Specific Allow Beats Shorter Disallow
Disallow: /tools/ | Allow: /tools/env-diff-sanitizer/ | Path: /tools/env-diff-sanitizer/
ALLOWED (longer Allow rule overrides shorter Disallow)
RFC 9309 resolves by matched character length, not file line number.
Agent-Specific Block
User-agent: GPTBot -> Disallow: /
BLOCKED for GPTBot, ALLOWED for Googlebot (falls back to `*`)
Targeted agent groups do not inherit wildcard `*` group rules.
Catatan Batasan & Akurasi
- • Output sitemap mengasumsikan URL kanonikal di bawah batas 50.000 URL per file tunggal; katalog lebih besar perlu dipecah ke dalam `<sitemapindex>`.
- • Ekstensi non-standar seperti `Crawl-delay` diabaikan dengan aman selama evaluasi izin/blokir path.
Pemrosesan Lokal di Browser & Privasi
Konverter web konvensional mengunggah dokumen, teks, atau media ke server jarak jauh. Penguji `robots.txt` RFC 9309 & Pembuat `sitemap.xml` berjalan langsung di tab browser Anda:
Teks dan file Anda diproses secara lokal tanpa mengirim muatan apa pun ke server.
Microdeck tidak mencatat atau menyimpan file dan teks yang Anda masukkan ke ruang kerja alat.
Hasil kerja hanya tersimpan di memori tab dan langsung terhapus saat Anda me-reset atau menutup tab.
Pertanyaan yang Sering Diajukan (FAQ)
Mengapa `Allow: /tools/` mengalahkan `Disallow: /` meski ditulis di baris kedua?
Crawler modern yang mengikuti RFC 9309 memilih pola path `Allow` atau `Disallow` dengan panjang kecocokan terbanyak, dan memenangkan `Allow` jika panjang karakternya sama.
Apakah `Googlebot` mewarisi aturan `User-agent: *` jika sudah ada blok `User-agent: Googlebot` khusus?
Tidak. Begitu sebuah bot cocok dengan grup `User-agent:` spesifik, crawler HANYA memakai blok tersebut dan mengabaikan `User-agent: *`.
Apakah karakter kueri khusus `&` di-escape dengan benar di `sitemap.xml`?
Ya. Karakter khusus XML (`&`, `<`, `>`, `"`, `'`) otomatis di-escape dengan aman di dalam elemen `<loc>`.
Apakah alat ini mengakses website live saya?
Tidak. Tempelkan teks kebijakan dan daftar URL Anda secara lokal.
Jelajahi Alat Mikro Terkait
Pratinjau Open Graph & Tampilan Link Sosial (SERP)
Simulasikan tampilan kartu link di Google, X/Twitter, Discord, Slack, Facebook & WhatsApp
Pembuat Data Terstruktur JSON-LD & Schema Markup
Buat embed Schema.org `<script type="application/ld+json">` valid untuk FAQPage, Article, Product, SoftwareApplication & BreadcrumbList
Pembuat Aturan Redirect HTTP 301/302 Massal
Kompilasi daftar redirect URL massal ke Cloudflare/Netlify `_redirects`, Cloudflare Bulk CSV, Nginx, Apache `.htaccess`, atau `vercel.json`