Microdeck.tools 100% di Browser

Penguji `robots.txt` RFC 9309 & Pembuat `sitemap.xml`

New

Hindari kesalahan meng-deindex halaman produksi atau memblokir aset Googlebot. Tempel file `robots.txt` apa saja dan simulasikan `Googlebot`, `GPTBot`, atau crawler kustom terhadap path URL memakai prioritas panjang kecocokan RFC 9309—lalu kompilasi manifes `<urlset>` XML `sitemap.xml` bersih siap deploy langsung di browser.

100% di Browser Tanpa Upload Server Hasil Instan

1. RFC 9309 `robots.txt` Longest-Match Crawler Tester

ALLOWED (*)
Matched Rule: Allow: /tools/

2. XML `sitemap.xml` Generator

Apakah alat ini menghemat waktu Anda? Bantu jaga Microdeck tetap gratis dan terawat. Sepenuhnya sukarela · Mulai $3.

Cara Kerja di Balik Layar

Evaluator memilih grup `User-agent` yang paling spesifik (hanya jatuh ke `*` jika tidak ada grup agen target yang cocok), mengubah wildcard `*` dan jangkar akhir `$` menjadi pencocok path, lalu memilih pola kecocokan terpanjang sesuai RFC 9309 (memenangkan `Allow` jika panjangnya seri).

Panduan Langkah demi Langkah

1

Tempel isi `robots.txt` Anda di Bagian 1 dan tentukan Crawler User-Agent (`Googlebot`, `GPTBot`, `*`) + URL Path.

2

Periksa apakah URL berstatus `ALLOWED` atau `BLOCKED` serta baris aturan persis mana yang memicunya.

3

Di Bagian 2, tempel daftar URL kanonikal `https://` (satu per baris) dan atur `changefreq`, `priority`, serta `lastmod`.

4

Salin atau unduh `sitemap.xml` langsung ke folder `public/` situs Anda.

Fitur Utama & Performa

  • Presedensi panjang pola RFC 9309 sejati (menangani `Allow: /tools/` yang menimpa `Disallow: /`)
  • Mendukung wildcard `*` dan jangkar akhir path `$` di dalam direktif `Allow` dan `Disallow`
  • Mensimulasikan aturan bot spesifik (`GPTBot`, `Bingbot`, `Googlebot`) dengan fallback wildcard `*` secara akurat
  • Melakukan XML-escape karakter URL (`&`, `<`, `>`) secara aman saat menyusun sitemap `<urlset>`
  • 100% lokal di browser: uji arsitektur situs staging yang belum dirilis secara privat

Metodologi, Rumus & Standar Teknis

Mengikuti spesifikasi RFC 9309 §2.2.2 longest-match specificity alih-alih pencocokan baris pertama dari atas ke bawah, memecahkan seri untuk kemenangan `Allow`, dan membolehkan akses secara default jika tidak ada pola yang cocok.

Contoh Penggunaan Nyata

  • Menguji pengecualian `Disallow: /*?preview=` dan `Allow:` yang kompleks sebelum merilis pembaruan SEO
  • Memverifikasi kebijakan crawler AI (`GPTBot`, `ClaudeBot`, `CCBot`) tanpa menyentuh file produksi
  • Membuat manifes `sitemap.xml` bersih untuk landing page, microsite, atau deploy Cloudflare Pages
  • Melakukan debugging peringatan Search Console "Blocked by robots.txt" yang tak terduga

Contoh Kasus & Uji Coba

Specific Allow Beats Shorter Disallow

Input
Disallow: /tools/ | Allow: /tools/env-diff-sanitizer/ | Path: /tools/env-diff-sanitizer/
Output
ALLOWED (longer Allow rule overrides shorter Disallow)

RFC 9309 resolves by matched character length, not file line number.

Agent-Specific Block

Input
User-agent: GPTBot -> Disallow: /
Output
BLOCKED for GPTBot, ALLOWED for Googlebot (falls back to `*`)

Targeted agent groups do not inherit wildcard `*` group rules.

Catatan Batasan & Akurasi

  • • Output sitemap mengasumsikan URL kanonikal di bawah batas 50.000 URL per file tunggal; katalog lebih besar perlu dipecah ke dalam `<sitemapindex>`.
  • • Ekstensi non-standar seperti `Crawl-delay` diabaikan dengan aman selama evaluasi izin/blokir path.

Pemrosesan Lokal di Browser & Privasi

Konverter web konvensional mengunggah dokumen, teks, atau media ke server jarak jauh. Penguji `robots.txt` RFC 9309 & Pembuat `sitemap.xml` berjalan langsung di tab browser Anda:

Diproses di Tab Ini

Teks dan file Anda diproses secara lokal tanpa mengirim muatan apa pun ke server.

Tanpa Pencatatan Input

Microdeck tidak mencatat atau menyimpan file dan teks yang Anda masukkan ke ruang kerja alat.

Memori Tab Sementara

Hasil kerja hanya tersimpan di memori tab dan langsung terhapus saat Anda me-reset atau menutup tab.

Pertanyaan yang Sering Diajukan (FAQ)

Mengapa `Allow: /tools/` mengalahkan `Disallow: /` meski ditulis di baris kedua?

Crawler modern yang mengikuti RFC 9309 memilih pola path `Allow` atau `Disallow` dengan panjang kecocokan terbanyak, dan memenangkan `Allow` jika panjang karakternya sama.

Apakah `Googlebot` mewarisi aturan `User-agent: *` jika sudah ada blok `User-agent: Googlebot` khusus?

Tidak. Begitu sebuah bot cocok dengan grup `User-agent:` spesifik, crawler HANYA memakai blok tersebut dan mengabaikan `User-agent: *`.

Apakah karakter kueri khusus `&` di-escape dengan benar di `sitemap.xml`?

Ya. Karakter khusus XML (`&`, `<`, `>`, `"`, `'`) otomatis di-escape dengan aman di dalam elemen `<loc>`.

Apakah alat ini mengakses website live saya?

Tidak. Tempelkan teks kebijakan dan daftar URL Anda secara lokal.

Jelajahi Alat Mikro Terkait

Dukung Microdeck

Sepenuhnya sukarela · Mulai $3 · Tanpa akun

Pilih jumlah (USD):Dipilih:$5

Jumlah dukungan minimum adalah $3 USD.

Sepenuhnya sukarela · Mulai $3 · Pembayaran aman melalui Gumroad.