仕組みと内部処理
評価エンジンが最も具体的な一致 `User-agent` グループを選択し(対象グループがない場合のみ `*` にフォールバック)、ワイルドカード `*` と末尾アンカー `$` をパスマッチャーへ変換したうえでRFC 9309の「一致文字数が最長のパターン(同長なら `Allow` 優先)」で判定します。
使い方ステップ
Section 1に既存の `robots.txt` の内容を貼り付け、テスト対象のUser-Agent(`Googlebot`・`GPTBot`・`*`)とURLパスを入力します。
判定結果が `ALLOWED` か `BLOCKED` か、およびどの行のルールが適用されたかを確認します。
Section 2で正規URL(`https://...`)を1行ずつ入力し、`changefreq`・`priority`・`lastmod` を設定します。
生成された `sitemap.xml` をコピーまたはダウンロードしてサイトの `public/` ディレクトリ等に配置します。
主な機能と特長
- RFC 9309準拠の最長パターン優先評価(`Disallow: /` に対する `Allow: /tools/` の上書きを正確に判定)
- `Allow`・`Disallow` 内の `*` ワイルドカードと `$` 末尾完全一致アンカーに対応
- `GPTBot`・`Bingbot`・`Googlebot` などの個別ボット指定と `*` フォールバック挙動を忠実に再現
- `<urlset>` サイトマップ構築時にXML特殊文字(`&`・`<`・`>`)を安全にエスケープ
- 完全ブラウザローカル動作:公開前のステージング構成URLも社外秘のままテスト可能
計算ロジック・仕様・技術基準
単純な記述順の上から一致(first-match)ではなく RFC 9309 §2.2.2 の最長一致(longest-match specificity)を採用し、文字長が同じ場合は `Allow` を優先、どのパターンにも一致しない場合は許可(Allowed)として解決します。
主な利用シーン
- SEO設定変更デプロイ前の複雑な `Disallow: /*?preview=` と `Allow:` 上書きルールの事前テスト
- 本番ファイルを変更せずにAIクローラー(`GPTBot`・`ClaudeBot`・`CCBot`)のブロック設定を検証
- ランディングページ、マイクロサイト、Cloudflare Pagesサイト向けのクリーンな `sitemap.xml` 生成
- Google Search Consoleで発生した「robots.txt によりブロックされました」警告の原因切り分け
入出力の例・エッジケース
Specific Allow Beats Shorter Disallow
Disallow: /tools/ | Allow: /tools/env-diff-sanitizer/ | Path: /tools/env-diff-sanitizer/
ALLOWED (longer Allow rule overrides shorter Disallow)
RFC 9309 resolves by matched character length, not file line number.
Agent-Specific Block
User-agent: GPTBot -> Disallow: /
BLOCKED for GPTBot, ALLOWED for Googlebot (falls back to `*`)
Targeted agent groups do not inherit wildcard `*` group rules.
仕様上の制限・精度に関するご注意
- • サイトマップ出力は1ファイルあたり50,000 URL上限以内の正規URLを想定しています。大規模サイトでは `<sitemapindex>` への分割が必要になります。
- • `Crawl-delay` などの非標準拡張ディレクティブはパス許可/ブロック判定時に安全に無視されます。
ブラウザ内ローカル処理とプライバシー保護
一般的なWebツールは文書やメディアを外部サーバーへ送信します。robots.txt (RFC 9309) 検証&sitemap.xml生成 はお使いのブラウザタブ内のみで完結します:
入力テキストやファイルは端末内で処理され、外部の処理サーバーへアップロードされません。
作業内容や貼り付けたデータを保存・記録しません(通常の静的配信CDNリクエストのみ発生します)。
作業データはタブ内のメモリ上のみに保持され、リセットまたはタブを閉じると破棄されます。
よくある質問 (FAQ)
`Allow: /tools/` を `Disallow: /` より後の行に書いても優先されるのはなぜですか?
RFC 9309に準拠した現代のクローラーは記述順ではなく、対象パスに対して一致文字数が最も長い `Allow` または `Disallow` パターンを採用し、文字数が同じ場合は `Allow` を優先するためです。
`User-agent: Googlebot` 専用のブロックが存在する場合、`Googlebot` は `User-agent: *` のルールも継承しますか?
いいえ。クローラーは専用の `User-agent:` グループに一致した場合、そのグループ内のルールのみを適用し、`User-agent: *` のルールは無視します。
`sitemap.xml` 内のURLにクエリパラメータの `&` などが含まれていても正しくXMLエスケープされますか?
はい。`<loc>` 要素内のXML特殊文字(`&`・`<`・`>`・`"`・`'`)は自動的に安全なエスケープ表記へ変換されます。
現在公開中のWebサイトへ直接アクセスしてファイルを取得しますか?
いいえ。貼り付けたポリシー文字列とURLのみを使ってブラウザ内でローカル検証します。
関連するマイクロツール
OGP(Open Graph)確認&SNS・Google検索プレビューツール
Google検索・X(Twitter)・Discord・Slack・Facebook・iMessageの表示を同時確認
JSON-LD 構造化データ生成ツール(Schema.org対応)
`FAQPage`・`Article`・`Product`・`SoftwareApplication`・`BreadcrumbList` 用の有効なJSON-LDを生成
HTTP 301/302 リダイレクトルール一括生成
URL移転リストをCloudflare/Netlify `_redirects`・Bulk CSV・Nginx・Apache `.htaccess`・`vercel.json` へ一括変換