Nguyên lý hoạt động
Bộ phân tích tìm nhóm `User-agent` khớp cụ thể nhất (chỉ rơi về `*` nếu không có khối riêng cho bot đó), biên dịch ký tự đại diện `*` và neo cuối chuỗi `$` trong các dòng `Allow`/`Disallow`, rồi chọn quy tắc có chiều dài đường dẫn khớp lớn nhất theo RFC 9309 (ưu tiên `Allow` nếu dài bằng nhau).
Hướng dẫn từng bước
Dán nội dung `robots.txt` vào Phần 1, nhập User-Agent của bot (`Googlebot`, `GPTBot`, `*`) và đường dẫn URL cần thử.
Xem kết quả `ALLOWED` hay `BLOCKED` cùng dòng quy tắc nào đã quyết định.
Ở Phần 2, dán danh sách URL chuẩn (`https://...`, mỗi dòng một URL) và chọn `changefreq`, `priority`, `lastmod`.
Sao chép hoặc tải xuống file `sitemap.xml` để đặt vào thư mục `public/` của website.
Tính năng nổi bật & Hiệu năng
- Đánh giá chuẩn RFC 9309 theo quy tắc dài nhất (xử lý đúng trường hợp `Allow: /tools/` ghi đè `Disallow: /`)
- Hỗ trợ đầy đủ ký tự đại diện `*` và neo cuối đường dẫn `$` trong `Allow` / `Disallow`
- Giả lập riêng từng bot (`GPTBot`, `Bingbot`, `Googlebot`) và cơ chế fallback về `*` chuẩn xác
- Tự động thoát ký tự đặc biệt XML (`&`, `<`, `>`) khi xuất `<urlset>` trong `sitemap.xml`
- Chạy 100% cục bộ trên trình duyệt: kiểm thử cấu trúc website staging bảo mật tuyệt đối
Phương pháp tính, Công thức & Tiêu chuẩn
Tuân thủ mục §2.2.2 của RFC 9309 (chọn đường dẫn khớp cụ thể dài nhất thay vì đọc từ trên xuống dưới), giải quyết trường hợp hòa độ dài theo hướng ưu tiên `Allow` và mặc định cho phép nếu không có quy tắc nào khớp.
Tình huống sử dụng thực tế
- Kiểm tra các luật phức tạp như `Disallow: /*?preview=` kết hợp ngoại lệ `Allow:` trước khi cập nhật file thật
- Rà soát chính sách chặn/mở cho các AI crawler (`GPTBot`, `ClaudeBot`, `CCBot`) trên máy cá nhân
- Tạo nhanh file `sitemap.xml` cho landing page, microsite hoặc dự án Cloudflare Pages
- Gỡ lỗi cảnh báo 'Bị chặn bởi robots.txt' trong Google Search Console
Ví dụ minh họa & Trường hợp biên
Specific Allow Beats Shorter Disallow
Disallow: /tools/ | Allow: /tools/env-diff-sanitizer/ | Path: /tools/env-diff-sanitizer/
ALLOWED (longer Allow rule overrides shorter Disallow)
RFC 9309 resolves by matched character length, not file line number.
Agent-Specific Block
User-agent: GPTBot -> Disallow: /
BLOCKED for GPTBot, ALLOWED for Googlebot (falls back to `*`)
Targeted agent groups do not inherit wildcard `*` group rules.
Lưu ý về giới hạn & Độ chính xác
- • File `sitemap.xml` đơn lẻ tuân theo giới hạn tối đa 50.000 URL; các hệ thống lớn hơn cần tách thành nhiều file và gom bằng `<sitemapindex>`.
- • Các chỉ thị mở rộng không chuẩn như `Crawl-delay` được bỏ qua an toàn khi xét quyền truy cập đường dẫn.
Xử lý trực tiếp trên trình duyệt & Bảo mật
Các trang chuyển đổi thông thường tải tài liệu, mã nguồn hoặc video của bạn lên máy chủ từ xa. Kiểm Tra robots.txt (RFC 9309) & Tạo sitemap.xml chạy hoàn toàn ngay trong tab trình duyệt của bạn:
Nội dung và tệp của bạn được tính toán ngay tại máy, không gửi lên bất kỳ máy chủ xử lý nào.
Microdeck không ghi lại hay lưu trữ tệp và văn bản bạn dán vào công cụ.
Kết quả làm việc chỉ nằm trong bộ nhớ tab hiện tại và tự giải phóng khi bạn đặt lại hoặc đóng tab.
Câu hỏi thường gặp (FAQ)
Tại sao `Allow: /tools/` lại thắng `Disallow: /` dù viết ở dòng dưới?
Các crawler hiện đại theo chuẩn RFC 9309 luôn chọn dòng `Allow` hoặc `Disallow` có độ dài chuỗi khớp dài hơn; nếu hai chuỗi dài bằng nhau thì `Allow` được ưu tiên.
Nếu file có cả khối `User-agent: Googlebot` riêng thì Googlebot có áp dụng thêm quy tắc từ `User-agent: *` không?
Không. Khi bot tìm thấy một nhóm `User-agent:` khớp riêng với mình, bot chỉ dùng duy nhất nhóm đó và bỏ qua hoàn toàn khối `User-agent: *`.
Ký tự `&` trong tham số URL có được xử lý đúng chuẩn trong `sitemap.xml` không?
Có. Mọi ký tự đặc biệt XML (`&`, `<`, `>`, `"`, `'`) đều được mã hóa an toàn bên trong thẻ `<loc>`.
Công cụ này có gửi bot đi quét website trực tiếp của tôi không?
Không. Bạn chỉ cần dán văn bản cấu hình và danh sách URL ngay trong trình duyệt.
Khám phá công cụ liên quan
Xem Trước Thẻ Open Graph & Giao Diện Chia Sẻ Link
Mô phỏng thẻ link trên Google, X/Twitter, Discord, Slack, Facebook & iMessage theo thời gian thực
Tạo Schema JSON-LD Chuẩn SEO (Schema.org)
Tạo nhanh thẻ `<script type="application/ld+json">` cho FAQPage, Article, Product, SoftwareApplication & BreadcrumbList ngay trên trình duyệt
Tạo Luật Chuyển Hướng HTTP 301/302 Hàng Loạt
Chuyển đổi danh sách URL cũ sang mới thành file `_redirects` (Cloudflare/Netlify), Cloudflare Bulk CSV, Nginx, `.htaccess` hoặc `vercel.json`