Microdeck.tools 100% Trên trình duyệt

Kiểm Tra robots.txt (RFC 9309) & Tạo sitemap.xml

New

Tránh vô tình chặn bot tìm kiếm lập chỉ mục trang quan trọng trước khi lên production. Dán nội dung `robots.txt` và giả lập `Googlebot`, `GPTBot` hoặc bot tùy chỉnh đối với từng đường dẫn URL theo đúng quy tắc khớp dài nhất của RFC 9309, sau đó xuất nhanh file `sitemap.xml` sạch chuẩn đã thoát ký tự đặc biệt.

100% Trên trình duyệt Không tải lên máy chủ Kết quả tức thì

1. RFC 9309 `robots.txt` Longest-Match Crawler Tester

ALLOWED (*)
Matched Rule: Allow: /tools/

2. XML `sitemap.xml` Generator

Công cụ này có giúp bạn tiết kiệm thời gian không? Chung tay giữ Microdeck miễn phí và ổn định. Hoàn toàn tự nguyện · Từ $3.

Nguyên lý hoạt động

Bộ phân tích tìm nhóm `User-agent` khớp cụ thể nhất (chỉ rơi về `*` nếu không có khối riêng cho bot đó), biên dịch ký tự đại diện `*` và neo cuối chuỗi `$` trong các dòng `Allow`/`Disallow`, rồi chọn quy tắc có chiều dài đường dẫn khớp lớn nhất theo RFC 9309 (ưu tiên `Allow` nếu dài bằng nhau).

Hướng dẫn từng bước

1

Dán nội dung `robots.txt` vào Phần 1, nhập User-Agent của bot (`Googlebot`, `GPTBot`, `*`) và đường dẫn URL cần thử.

2

Xem kết quả `ALLOWED` hay `BLOCKED` cùng dòng quy tắc nào đã quyết định.

3

Ở Phần 2, dán danh sách URL chuẩn (`https://...`, mỗi dòng một URL) và chọn `changefreq`, `priority`, `lastmod`.

4

Sao chép hoặc tải xuống file `sitemap.xml` để đặt vào thư mục `public/` của website.

Tính năng nổi bật & Hiệu năng

  • Đánh giá chuẩn RFC 9309 theo quy tắc dài nhất (xử lý đúng trường hợp `Allow: /tools/` ghi đè `Disallow: /`)
  • Hỗ trợ đầy đủ ký tự đại diện `*` và neo cuối đường dẫn `$` trong `Allow` / `Disallow`
  • Giả lập riêng từng bot (`GPTBot`, `Bingbot`, `Googlebot`) và cơ chế fallback về `*` chuẩn xác
  • Tự động thoát ký tự đặc biệt XML (`&`, `<`, `>`) khi xuất `<urlset>` trong `sitemap.xml`
  • Chạy 100% cục bộ trên trình duyệt: kiểm thử cấu trúc website staging bảo mật tuyệt đối

Phương pháp tính, Công thức & Tiêu chuẩn

Tuân thủ mục §2.2.2 của RFC 9309 (chọn đường dẫn khớp cụ thể dài nhất thay vì đọc từ trên xuống dưới), giải quyết trường hợp hòa độ dài theo hướng ưu tiên `Allow` và mặc định cho phép nếu không có quy tắc nào khớp.

Tình huống sử dụng thực tế

  • Kiểm tra các luật phức tạp như `Disallow: /*?preview=` kết hợp ngoại lệ `Allow:` trước khi cập nhật file thật
  • Rà soát chính sách chặn/mở cho các AI crawler (`GPTBot`, `ClaudeBot`, `CCBot`) trên máy cá nhân
  • Tạo nhanh file `sitemap.xml` cho landing page, microsite hoặc dự án Cloudflare Pages
  • Gỡ lỗi cảnh báo 'Bị chặn bởi robots.txt' trong Google Search Console

Ví dụ minh họa & Trường hợp biên

Specific Allow Beats Shorter Disallow

Đầu vào
Disallow: /tools/ | Allow: /tools/env-diff-sanitizer/ | Path: /tools/env-diff-sanitizer/
Kết quả
ALLOWED (longer Allow rule overrides shorter Disallow)

RFC 9309 resolves by matched character length, not file line number.

Agent-Specific Block

Đầu vào
User-agent: GPTBot -> Disallow: /
Kết quả
BLOCKED for GPTBot, ALLOWED for Googlebot (falls back to `*`)

Targeted agent groups do not inherit wildcard `*` group rules.

Lưu ý về giới hạn & Độ chính xác

  • • File `sitemap.xml` đơn lẻ tuân theo giới hạn tối đa 50.000 URL; các hệ thống lớn hơn cần tách thành nhiều file và gom bằng `<sitemapindex>`.
  • • Các chỉ thị mở rộng không chuẩn như `Crawl-delay` được bỏ qua an toàn khi xét quyền truy cập đường dẫn.

Xử lý trực tiếp trên trình duyệt & Bảo mật

Các trang chuyển đổi thông thường tải tài liệu, mã nguồn hoặc video của bạn lên máy chủ từ xa. Kiểm Tra robots.txt (RFC 9309) & Tạo sitemap.xml chạy hoàn toàn ngay trong tab trình duyệt của bạn:

Xử lý ngay tại tab này

Nội dung và tệp của bạn được tính toán ngay tại máy, không gửi lên bất kỳ máy chủ xử lý nào.

Không lưu nhật ký dữ liệu

Microdeck không ghi lại hay lưu trữ tệp và văn bản bạn dán vào công cụ.

Bộ nhớ tạm của trình duyệt

Kết quả làm việc chỉ nằm trong bộ nhớ tab hiện tại và tự giải phóng khi bạn đặt lại hoặc đóng tab.

Câu hỏi thường gặp (FAQ)

Tại sao `Allow: /tools/` lại thắng `Disallow: /` dù viết ở dòng dưới?

Các crawler hiện đại theo chuẩn RFC 9309 luôn chọn dòng `Allow` hoặc `Disallow` có độ dài chuỗi khớp dài hơn; nếu hai chuỗi dài bằng nhau thì `Allow` được ưu tiên.

Nếu file có cả khối `User-agent: Googlebot` riêng thì Googlebot có áp dụng thêm quy tắc từ `User-agent: *` không?

Không. Khi bot tìm thấy một nhóm `User-agent:` khớp riêng với mình, bot chỉ dùng duy nhất nhóm đó và bỏ qua hoàn toàn khối `User-agent: *`.

Ký tự `&` trong tham số URL có được xử lý đúng chuẩn trong `sitemap.xml` không?

Có. Mọi ký tự đặc biệt XML (`&`, `<`, `>`, `"`, `'`) đều được mã hóa an toàn bên trong thẻ `<loc>`.

Công cụ này có gửi bot đi quét website trực tiếp của tôi không?

Không. Bạn chỉ cần dán văn bản cấu hình và danh sách URL ngay trong trình duyệt.

Khám phá công cụ liên quan

Ủng hộ Microdeck

Hoàn toàn tự nguyện · Từ $3 · Không cần tài khoản

Chọn mức ủng hộ (USD):Đã chọn:$5

Mức ủng hộ tối thiểu là $3 USD.

Hoàn toàn tự nguyện · Từ $3 · Thanh toán qua Gumroad.