Nasıl çalışır?
Robots.txt'nizde bir tarayıcıya uygulanan kurallara karşı bir URL yolunu test edin. Sonuç, yolun taramaya izin veren veya izin vermeyen bir kuralla eşleşip eşleşmediğini gösterir. Site haritası aracı, verdiğiniz URL'lerin bir XML listesini yazar. Bir siteyi yayınlarken her çıktıyı kendi amacı için gözden geçirin. Site haritasındaki mutlak URL'leri kullanın ve robots.txter kurallarınızı kopyalamadan önce hem izin verilen hem de kısıtlı yolları test edin.
Nasıl kullanılır?
Robots.txt'nizi yapıştırın, tarayıcıyı adlandırın ve test etmek istediğiniz URL yolunu girin.
Taramaya izin verilip verilmediğini ve hangi kuralın uygulanıp uygulanmadığını gözden geçirin.
Site haritası oluşturucusunun altında, eklemek için mutlak URL'leri girin, ardından kullandığınız herhangi bir tarih, frekans veya öncelik değerlerini ayarlayın.
XML Kopyala veya sitemap.xml indir'i seçin.
Öne çıkan özellikler
- Gerçek RFC 9309 en uzun mesafeli öncelik ( `Allow: /tools/` overriding `Disallow: /` )
- * wildcards ve $ içinde yol sonu çapa destekler Allow ve Disallow desenleri
- Hedeflenen bot kurallarını ( `GPTBot` , `Bingbot` , `Googlebot` ) wildcard ile temiz bir şekilde simüle eder `*` fallback
- XML-URLset> site haritalarını derlerken URL karakterlerini temiz bir şekilde ( & , , > ) kaydeder
- 100% tarayıcı-yerel: özel olarak yayınlanmamış sahneleme sitesi mimarilerini test edin
Yöntem ve formüller
RFC 9309 `Allow` Allow direktifleri lehine bağları çözer ve desen eşleşmesi olmadığında izin verilir.
Kullanım alanları
- `Disallow: /*?preview=` ve `Allow:` komplekslerinin test edilmesi, SEO güncellemelerini dağıtmadan önce geçersiz kılar
- Canlı üretim dosyalarına dokunmadan AI tarayıcı politikalarının ( `GPTBot` , `ClaudeBot` , `CCBot` ) doğrulanması
- Temiz `sitemap.xml` manifestoları açılış sayfaları, mikrositeler veya Cloudflare Pages dağıtımları için oluşturuluyor
- Beklenmedik Search Console "Robots.txt tarafından engellendi" uyarıları hata ayıklama
Uygulamalı örnekler
Daha özgül Allow kuralını sınayın
Disallow: /tools/ ve Allow: /tools/env-diff-sanitizer/ kurallarıyla /tools/env-diff-sanitizer/ yolunu sınayın.
Yola izin verilir. Daha uzun eşleşen Allow kuralı önceliklidir.
RFC 9309 eşleşme uzunluğuna bakar.
Belirli bir tarayıcının erişimini test edin
User-agent: GPTBot grubuna Disallow: / ekleyin.
Bu grupta sınanan yol GPTBot için engellenir.
Başka bir kullanıcı aracısı ayrıca değerlendirilir.
Sınırlamalar
- • Site Haritası çıktısı 50.000-URL tek dosya sınırı altında temiz kanonik URL'leri varsayar; Daha büyük kataloglar bir `<sitemapindex>` 'ye bölmeyi gerektirir.
- • Standart olmayan tescilli uzantılar ( `Crawl-delay` ) yol izin / blok çözünürlüğü sırasında güvenli bir şekilde göz ardı edilir.
Dosyalarınız ve gizliliğiniz
Robots.txt ve XML site haritası aracına verdiğiniz dosyalar ve bilgiler cihazınızda işlenir.
Tarayıcınız dosyaları bir işlem sunucusuna göndermeden işler.
Microdeck araca girdiğiniz metinleri ve dosyaları kaydetmez. Sayfanın yüklenmesi için internet bağlantısı kullanılır.
Sekmeyi kapatmadan önce saklamak istediğiniz sonuçları indirin veya kopyalayın. Bazı araçlar taslakları tarayıcınıza kaydeder.
Sık sorulan sorular
Neden `Allow: /tools/` ikinci olarak yazsa bile `Disallow: /` yener?
RFC 9309'u takip eden modern tarayıcılar, `Allow` veya `Disallow` yol deseni en uzun eşleşme uzunluğuna sahip olanı seçer ve `Allow` lehine kesin uzunluk bağlarını kırar.
Googlebot , Kullanıcı-ajan: * 'dan kuralları miras alıyor mu?
Hayır. Bir bot belirli bir `User-agent:` grubuyla eşleştiğinde, tarayıcılar SADECE bu bloğu kullanır ve `User-agent: *` 'yi görmezden gelir.
`&` 'de özel `sitemap.xml` sorgu karakterleri düzgün bir şekilde kaçtı mı?
Evet. XML özel karakterleri ( & , , > , " , ' ) loc> elemanlarının içinde güvenli bir şekilde kaçılır.
Bu benim canlı web sitemi getiriyor mu?
Hayır. Politika metninizi ve URL'lerinizi yerel olarak yapıştırın.
İlgili araçları keşfedin
Open Graph önizleme aracı
Bağlantının sosyal medyada hangi başlık, açıklama ve görselle görünebileceğini önizleyin
JSON-LD şema oluşturucu
FAQPage, Article, Product, SoftwareApplication veya BreadcrumbList için JSON-LD oluşturun
URL yönlendirme kuralı oluşturucu
Toplu URL listelerinden 301 ve 302 kuralları oluşturun