底層運作原理
評估器嚴格遵循 RFC 9309 爬蟲規範:先挑選最精準匹配的 `User-agent` 區塊(只有完全找不到專用區塊時才退回套用 `*` 通用區塊),將 `Allow` 與 `Disallow` 中的 `*` 萬用字元與 `$` 結尾錨點轉換為路徑比對器,並採用「最長匹配路徑勝出」(字數平手時以 `Allow` 優先)的標準判定最終權限;第二區則將多行網址進行 XML 跳脫編譯為標準 `<urlset>`。
詳細操作步驟
在第一區貼入您的 `robots.txt` 內容,指定爬蟲名稱(如 `Googlebot`、`GPTBot`、`*`)與待測網址路徑。
即時檢查該路徑是 `ALLOWED` 還是 `BLOCKED`,並查看是哪一行規則觸發了判定。
在第二區貼上欲收錄的標準 `https://` 網址清單(每行一筆),設定 `changefreq`、`priority` 與 `lastmod`。
複製或直接下載 `sitemap.xml` 放進網站的 `public/` 根目錄部署。
核心功能與效能優勢
- 真正實作 RFC 9309 最長路徑優先邏輯(正確處理 `Allow: /tools/` 覆寫 `Disallow: /`)
- 完整支援路徑模式中的 `*` 萬用字元與 `$` 結尾錨點比對
- 精確模擬指定機器人規則(`GPTBot`、`Bingbot`、`Googlebot`)與 `*` 群組不繼承特性
- 產生 `sitemap.xml` 時自動對 `&`、`"`、`'`、`<`、`>` 做標準 XML 跳脫
- 100% 瀏覽器本地端測試,未上線測試站網址架構與管理後台路徑絕不洩漏
運算方法、公式與技術標準
遵循 RFC 9309 §2.2.2 最長匹配優先原則而非錯誤的「由上而下第一條勝出」,匹配字元長度相同時依規範優先採計 `Allow`,完全無規則命中時預設允許抓取。
常見實務應用情境
- 部署更新前先驗證複雜的 `Disallow: /*?preview=` 與例外 `Allow:` 規則是否如預期運作
- 在不觸動線上環境的情況下預先驗證對 AI 爬蟲(`GPTBot`、`ClaudeBot`、`CCBot`)的封鎖政策
- 為登陸頁、靜態微網站或 Cloudflare Pages 專案快速產生乾淨合規的 `sitemap.xml`
- 排除 Google Search Console 突然出現「已被 robots.txt 封鎖」警告的規則衝突原因
實作範例與邊界案例
Specific Allow Beats Shorter Disallow
Disallow: /tools/ | Allow: /tools/env-diff-sanitizer/ | Path: /tools/env-diff-sanitizer/
ALLOWED (longer Allow rule overrides shorter Disallow)
RFC 9309 resolves by matched character length, not file line number.
Agent-Specific Block
User-agent: GPTBot -> Disallow: /
BLOCKED for GPTBot, ALLOWED for Googlebot (falls back to `*`)
Targeted agent groups do not inherit wildcard `*` group rules.
使用限制與精準度說明
- • 單一 `sitemap.xml` 檔案的標準上限為 50,000 個網址,若您的網站規模超過此數值需自行拆分為 `<sitemapindex>` 索引結構。
- • 非 RFC 9309 標準的專有指令(如 `Crawl-delay`)在路徑允許/封鎖判定時會被安全忽略。
瀏覽器本地運算與隱私保障
傳統線上轉換網站會將您的文件、文字片段或影音檔案上傳至遠端伺服器。robots.txt 爬蟲規則測試與 sitemap.xml 產生器 完全在您的瀏覽器分頁內運行:
您的檔案與文字都在裝置本機計算,不會傳送內容至任何後端伺服器。
Microdeck 不會記錄或儲存您在工具內貼上的任何檔案或程式碼。
所有暫存結果僅存在目前分頁記憶體中,重設或關閉分頁後即刻清除。
常見問題 (FAQ)
為什麼 `Allow: /tools/` 明明寫在 `Disallow: /` 後面,最後還是允許抓取?
根據現代搜尋引擎遵循的 RFC 9309 標準,判斷勝負看的是「匹配路徑字元長度」而非誰寫在前面。`/tools/` 比 `/` 更長、更具體,因此會優先勝出。
如果我寫了一個 `User-agent: Googlebot` 區塊,它還會繼承 `User-agent: *` 裡面的封鎖規則嗎?
不會!只要檔案內存在針對特定機器人的 `User-agent` 區塊,該機器人就只會套用自己的專屬區塊,並完全忽略 `User-agent: *`。
網址裡面如果有 `&` 查詢符號,生成的 `sitemap.xml` 會不會格式錯誤?
不會,工具會在寫入 `<loc>` 標籤時自動將 `&`、`<`、`>` 等字元轉義為 `&` 等標準 XML 實體。
測試時工具會去連線抓取我線上的網站嗎?
不會,所有測試完全離線針對您貼入的文字規則在本機執行。