Microdeck.tools Tamamen tarayıcınızda

Robots.txt ve XML site haritası

Yeni

Robots.txt kurallarını seçtiğiniz adres ve tarayıcı aracısı için sınayın. URL’lerden XML site haritası oluşturup çıktıyı kopyalayın.

Tamamen tarayıcınızda Sunucuda saklanmaz Anında sonuç

Robots.txt Kurallarını Kontrol Edin

ALLOWED (*)
Eşleşen Kural: Allow: /tools/

sitemap.xml oluştur

Bu araç size zaman kazandırdı mı? Microdeck’in ücretsiz kalmasına ve bakımına katkıda bulunun. Katkı isteğe bağlıdır · En az $3.

Nasıl çalışır?

Robots.txt'nizde bir tarayıcıya uygulanan kurallara karşı bir URL yolunu test edin. Sonuç, yolun taramaya izin veren veya izin vermeyen bir kuralla eşleşip eşleşmediğini gösterir. Site haritası aracı, verdiğiniz URL'lerin bir XML listesini yazar. Bir siteyi yayınlarken her çıktıyı kendi amacı için gözden geçirin. Site haritasındaki mutlak URL'leri kullanın ve robots.txter kurallarınızı kopyalamadan önce hem izin verilen hem de kısıtlı yolları test edin.

Nasıl kullanılır?

1

Robots.txt'nizi yapıştırın, tarayıcıyı adlandırın ve test etmek istediğiniz URL yolunu girin.

2

Taramaya izin verilip verilmediğini ve hangi kuralın uygulanıp uygulanmadığını gözden geçirin.

3

Site haritası oluşturucusunun altında, eklemek için mutlak URL'leri girin, ardından kullandığınız herhangi bir tarih, frekans veya öncelik değerlerini ayarlayın.

4

XML Kopyala veya sitemap.xml indir'i seçin.

Öne çıkan özellikler

  • Gerçek RFC 9309 en uzun mesafeli öncelik ( `Allow: /tools/` overriding `Disallow: /` )
  • * wildcards ve $ içinde yol sonu çapa destekler Allow ve Disallow desenleri
  • Hedeflenen bot kurallarını ( `GPTBot` , `Bingbot` , `Googlebot` ) wildcard ile temiz bir şekilde simüle eder `*` fallback
  • XML-URLset> site haritalarını derlerken URL karakterlerini temiz bir şekilde ( & , , > ) kaydeder
  • 100% tarayıcı-yerel: özel olarak yayınlanmamış sahneleme sitesi mimarilerini test edin

Yöntem ve formüller

RFC 9309 `Allow` Allow direktifleri lehine bağları çözer ve desen eşleşmesi olmadığında izin verilir.

Kullanım alanları

  • `Disallow: /*?preview=` ve `Allow:` komplekslerinin test edilmesi, SEO güncellemelerini dağıtmadan önce geçersiz kılar
  • Canlı üretim dosyalarına dokunmadan AI tarayıcı politikalarının ( `GPTBot` , `ClaudeBot` , `CCBot` ) doğrulanması
  • Temiz `sitemap.xml` manifestoları açılış sayfaları, mikrositeler veya Cloudflare Pages dağıtımları için oluşturuluyor
  • Beklenmedik Search Console "Robots.txt tarafından engellendi" uyarıları hata ayıklama

Uygulamalı örnekler

Daha özgül Allow kuralını sınayın

Girdi
Disallow: /tools/ ve Allow: /tools/env-diff-sanitizer/ kurallarıyla /tools/env-diff-sanitizer/ yolunu sınayın.
Çıktı
Yola izin verilir. Daha uzun eşleşen Allow kuralı önceliklidir.

RFC 9309 eşleşme uzunluğuna bakar.

Belirli bir tarayıcının erişimini test edin

Girdi
User-agent: GPTBot grubuna Disallow: / ekleyin.
Çıktı
Bu grupta sınanan yol GPTBot için engellenir.

Başka bir kullanıcı aracısı ayrıca değerlendirilir.

Sınırlamalar

  • • Site Haritası çıktısı 50.000-URL tek dosya sınırı altında temiz kanonik URL'leri varsayar; Daha büyük kataloglar bir `<sitemapindex>` 'ye bölmeyi gerektirir.
  • • Standart olmayan tescilli uzantılar ( `Crawl-delay` ) yol izin / blok çözünürlüğü sırasında güvenli bir şekilde göz ardı edilir.

Dosyalarınız ve gizliliğiniz

Robots.txt ve XML site haritası aracına verdiğiniz dosyalar ve bilgiler cihazınızda işlenir.

Dosya yüklemeden çalışır

Tarayıcınız dosyaları bir işlem sunucusuna göndermeden işler.

Girdileriniz gizli kalır

Microdeck araca girdiğiniz metinleri ve dosyaları kaydetmez. Sayfanın yüklenmesi için internet bağlantısı kullanılır.

Sonuçlarınızı kaydedin

Sekmeyi kapatmadan önce saklamak istediğiniz sonuçları indirin veya kopyalayın. Bazı araçlar taslakları tarayıcınıza kaydeder.

Sık sorulan sorular

Neden `Allow: /tools/` ikinci olarak yazsa bile `Disallow: /` yener?

RFC 9309'u takip eden modern tarayıcılar, `Allow` veya `Disallow` yol deseni en uzun eşleşme uzunluğuna sahip olanı seçer ve `Allow` lehine kesin uzunluk bağlarını kırar.

Googlebot , Kullanıcı-ajan: * 'dan kuralları miras alıyor mu?

Hayır. Bir bot belirli bir `User-agent:` grubuyla eşleştiğinde, tarayıcılar SADECE bu bloğu kullanır ve `User-agent: *` 'yi görmezden gelir.

`&` 'de özel `sitemap.xml` sorgu karakterleri düzgün bir şekilde kaçtı mı?

Evet. XML özel karakterleri ( & , , > , " , ' ) loc> elemanlarının içinde güvenli bir şekilde kaçılır.

Bu benim canlı web sitemi getiriyor mu?

Hayır. Politika metninizi ve URL'lerinizi yerel olarak yapıştırın.

İlgili araçları keşfedin

Microdeck’i destekleyin

İsteğe bağlı · En az $3 · Hesap gerekmez

Bir tutar seçin (USD)Seçilen tutar$5

En düşük destek tutarı $3 USD.

İsteğe bağlı · En az $3 · Ödeme sayfası Gumroad’da açılır.