Microdeck.tools 100% ブラウザ完結

robots.txt (RFC 9309) 検証&sitemap.xml生成

New

本番ページを誤ってインデックス除外したりGooglebotのアセット取得をブロックしたりする事故を未然に防げます。`robots.txt` の内容を貼り付け、`Googlebot` や `GPTBot` などのクローラーに対して指定URLパスが許可/拒否どちらと判定されるかをRFC 9309の最長一致優先ルールで正確にシミュレートし、そのままデプロイ可能な `<urlset>` 形式の `sitemap.xml` も生成できます。

100% ブラウザ完結 サーバー送信なし 即時処理

1. RFC 9309 `robots.txt` Longest-Match Crawler Tester

ALLOWED (*)
Matched Rule: Allow: /tools/

2. XML `sitemap.xml` Generator

このツールは作業時間の短縮に役立ちましたか? Microdeckの無料運営と継続開発への応援(任意・$3〜)。

仕組みと内部処理

評価エンジンが最も具体的な一致 `User-agent` グループを選択し(対象グループがない場合のみ `*` にフォールバック)、ワイルドカード `*` と末尾アンカー `$` をパスマッチャーへ変換したうえでRFC 9309の「一致文字数が最長のパターン(同長なら `Allow` 優先)」で判定します。

使い方ステップ

1

Section 1に既存の `robots.txt` の内容を貼り付け、テスト対象のUser-Agent(`Googlebot`・`GPTBot`・`*`)とURLパスを入力します。

2

判定結果が `ALLOWED` か `BLOCKED` か、およびどの行のルールが適用されたかを確認します。

3

Section 2で正規URL(`https://...`)を1行ずつ入力し、`changefreq`・`priority`・`lastmod` を設定します。

4

生成された `sitemap.xml` をコピーまたはダウンロードしてサイトの `public/` ディレクトリ等に配置します。

主な機能と特長

  • RFC 9309準拠の最長パターン優先評価(`Disallow: /` に対する `Allow: /tools/` の上書きを正確に判定)
  • `Allow`・`Disallow` 内の `*` ワイルドカードと `$` 末尾完全一致アンカーに対応
  • `GPTBot`・`Bingbot`・`Googlebot` などの個別ボット指定と `*` フォールバック挙動を忠実に再現
  • `<urlset>` サイトマップ構築時にXML特殊文字(`&`・`<`・`>`)を安全にエスケープ
  • 完全ブラウザローカル動作:公開前のステージング構成URLも社外秘のままテスト可能

計算ロジック・仕様・技術基準

単純な記述順の上から一致(first-match)ではなく RFC 9309 §2.2.2 の最長一致(longest-match specificity)を採用し、文字長が同じ場合は `Allow` を優先、どのパターンにも一致しない場合は許可(Allowed)として解決します。

主な利用シーン

  • SEO設定変更デプロイ前の複雑な `Disallow: /*?preview=` と `Allow:` 上書きルールの事前テスト
  • 本番ファイルを変更せずにAIクローラー(`GPTBot`・`ClaudeBot`・`CCBot`)のブロック設定を検証
  • ランディングページ、マイクロサイト、Cloudflare Pagesサイト向けのクリーンな `sitemap.xml` 生成
  • Google Search Consoleで発生した「robots.txt によりブロックされました」警告の原因切り分け

入出力の例・エッジケース

Specific Allow Beats Shorter Disallow

入力
Disallow: /tools/ | Allow: /tools/env-diff-sanitizer/ | Path: /tools/env-diff-sanitizer/
出力
ALLOWED (longer Allow rule overrides shorter Disallow)

RFC 9309 resolves by matched character length, not file line number.

Agent-Specific Block

入力
User-agent: GPTBot -> Disallow: /
出力
BLOCKED for GPTBot, ALLOWED for Googlebot (falls back to `*`)

Targeted agent groups do not inherit wildcard `*` group rules.

仕様上の制限・精度に関するご注意

  • • サイトマップ出力は1ファイルあたり50,000 URL上限以内の正規URLを想定しています。大規模サイトでは `<sitemapindex>` への分割が必要になります。
  • • `Crawl-delay` などの非標準拡張ディレクティブはパス許可/ブロック判定時に安全に無視されます。

ブラウザ内ローカル処理とプライバシー保護

一般的なWebツールは文書やメディアを外部サーバーへ送信します。robots.txt (RFC 9309) 検証&sitemap.xml生成 はお使いのブラウザタブ内のみで完結します:

このタブ内で処理完結

入力テキストやファイルは端末内で処理され、外部の処理サーバーへアップロードされません。

入力データのログ保存なし

作業内容や貼り付けたデータを保存・記録しません(通常の静的配信CDNリクエストのみ発生します)。

タブ単位の一時メモリ管理

作業データはタブ内のメモリ上のみに保持され、リセットまたはタブを閉じると破棄されます。

よくある質問 (FAQ)

`Allow: /tools/` を `Disallow: /` より後の行に書いても優先されるのはなぜですか?

RFC 9309に準拠した現代のクローラーは記述順ではなく、対象パスに対して一致文字数が最も長い `Allow` または `Disallow` パターンを採用し、文字数が同じ場合は `Allow` を優先するためです。

`User-agent: Googlebot` 専用のブロックが存在する場合、`Googlebot` は `User-agent: *` のルールも継承しますか?

いいえ。クローラーは専用の `User-agent:` グループに一致した場合、そのグループ内のルールのみを適用し、`User-agent: *` のルールは無視します。

`sitemap.xml` 内のURLにクエリパラメータの `&` などが含まれていても正しくXMLエスケープされますか?

はい。`<loc>` 要素内のXML特殊文字(`&`・`<`・`>`・`"`・`'`)は自動的に安全なエスケープ表記へ変換されます。

現在公開中のWebサイトへ直接アクセスしてファイルを取得しますか?

いいえ。貼り付けたポリシー文字列とURLのみを使ってブラウザ内でローカル検証します。

関連するマイクロツール

Microdeckを応援する

完全任意 · $3から · アカウント登録不要

金額を選択 (USD):選択中:$5

最小金額は $3 USD です。

完全任意 · $3から · Gumroadの安全な決済ページが開きます。