Microdeck.tools 100% 브라우저 실행

robots.txt RFC 9309 검사기 & sitemap.xml 생성기

New

운영 페이지가 실수로 검색에서 제외되거나 Googlebot 리소스가 차단되는 사고를 예방하세요. `robots.txt` 내용을 붙여넣고 `Googlebot`, `GPTBot` 또는 사용자 지정 봇이 특정 URL 경로에 접근 가능한지 RFC 9309 최장 일치 규칙으로 시뮬레이션하며, 배포용 `<urlset>` XML `sitemap.xml` 파일도 바로 생성할 수 있습니다.

100% 브라우저 실행 서버 업로드 없음 즉시 결과 확인

1. RFC 9309 `robots.txt` Longest-Match Crawler Tester

ALLOWED (*)
Matched Rule: Allow: /tools/

2. XML `sitemap.xml` Generator

이 도구가 시간을 절약하는 데 도움이 되었나요? Microdeck을 무료로 유지하고 개선하는 데 힘을 보태주세요. 자율 참여 · $3부터.

작동 원리 및 구조

평가 엔진은 가장 구체적으로 일치하는 `User-agent` 그룹을 먼저 선택하고(일치하는 전용 그룹이 없을 때만 `*`로 폴백), 와일드카드 `*` 및 경로 끝 앵커 `$`를 정규 매처로 변환한 뒤 RFC 9309 규칙에 따라 가장 길게 일치하는 패턴을 채택합니다(길이가 같으면 `Allow` 우선).

단계별 사용 방법

1

Section 1에 `robots.txt` 내용을 붙여넣고 크롤러 User-Agent(`Googlebot`, `GPTBot`, `*`)와 테스트할 URL 경로를 입력합니다.

2

결과가 `ALLOWED`(허용)인지 `BLOCKED`(차단)인지, 그리고 몇 번째 줄 규칙이 적용되었는지 확인합니다.

3

Section 2에 정규 `https://` URL 목록(한 줄에 하나)을 붙여넣고 `changefreq`, `priority`, `lastmod`를 선택합니다.

4

생성된 `sitemap.xml`을 복사하거나 다운로드해 사이트 `public/` 폴더에 배치합니다.

주요 기능 및 장점

  • 정확한 RFC 9309 최장 패턴 우선순위 구현(`Allow: /tools/`가 `Disallow: /`를 재정의하는 경우 완벽 처리)
  • `Allow` 및 `Disallow` 패턴 내 `*` 와일드카드와 `$` 끝 앵커 지원
  • 전용 봇 규칙(`GPTBot`, `Bingbot`, `Googlebot`)과 `*` 폴백 동작 정밀 시뮬레이션
  • `<urlset>` 사이트맵 컴파일 시 URL 특수문자(`&`, `<`, `>`) 안전한 XML 이스케이프 처리
  • 100% 브라우저 로컬 동작: 미공개 스테이징 사이트 주소 구조도 외부 유출 없이 테스트

계산 방식, 공식 및 기술 표준

단순한 위에서 아래 첫 일치 방식이 아니라 RFC 9309 §2.2.2 최장 일치 구체성 규칙을 따르며, 동일 길이 충돌 시 `Allow`를 우선하고 일치 패턴이 없으면 허용으로 기본 판정합니다.

실제 활용 사례

  • SEO 업데이트 배포 전 복잡한 `Disallow: /*?preview=` 및 `Allow:` 예외 규칙 사전 테스트
  • 운영 파일을 건드리지 않고 AI 크롤러 정책(`GPTBot`, `ClaudeBot`, `CCBot`) 검증
  • 랜딩 페이지, 마이크로사이트, Cloudflare Pages 배포용 깔끔한 `sitemap.xml` 생성
  • Search Console의 "robots.txt에 의해 차단됨" 경고 원인 신속히 디버깅

입출력 예시 및 엣지 케이스

Specific Allow Beats Shorter Disallow

입력
Disallow: /tools/ | Allow: /tools/env-diff-sanitizer/ | Path: /tools/env-diff-sanitizer/
출력
ALLOWED (longer Allow rule overrides shorter Disallow)

RFC 9309 resolves by matched character length, not file line number.

Agent-Specific Block

입력
User-agent: GPTBot -> Disallow: /
출력
BLOCKED for GPTBot, ALLOWED for Googlebot (falls back to `*`)

Targeted agent groups do not inherit wildcard `*` group rules.

제한 사항 및 정확도 안내

  • • 단일 파일 `sitemap.xml` 표준 상한(50,000개 URL) 이하의 정규 URL 생성을 전제로 하며, 더 큰 카탈로그는 `<sitemapindex>`로 분할해야 합니다.
  • • `Crawl-delay` 같은 비표준 확장 지시문은 경로 허용/차단 판정 시 안전하게 무시됩니다.

브라우저 로컬 처리 및 개인정보 보호

일반 웹 변환기는 문서나 미디어 파일을 원격 서버에 업로드합니다. robots.txt RFC 9309 검사기 & sitemap.xml 생성기 도구는 현재 브라우저 탭 내부에서만 실행됩니다:

현재 탭에서 직접 처리

입력 텍스트와 파일은 외부 서버로 전송되지 않고 기기 내에서 로컬로 계산됩니다.

입력 데이터 로그 미보관

도구에 붙여넣은 파일이나 데이터를 서버에 기록하거나 저장하지 않습니다.

일시적 탭 메모리 수명주기

작업 결과는 브라우저 탭 메모리에만 유지되며 탭을 닫거나 초기화하면 즉시 해제됩니다.

자주 묻는 질문 (FAQ)

`Allow: /tools/`가 `Disallow: /`보다 아래에 적혀 있어도 허용되는 이유는 무엇인가요?

RFC 9309를 따르는 최신 검색엔진 크롤러는 작성 순서가 아니라 `Allow`와 `Disallow` 중 경로 패턴이 더 길게 일치하는 규칙을 채택하며, 길이가 같으면 `Allow`를 우선합니다.

`User-agent: Googlebot` 블록이 따로 있을 때 `User-agent: *` 규칙도 함께 상속받나요?

아니요. 크롤러가 자신에게 해당하는 전용 `User-agent:` 그룹을 찾으면 오직 해당 블록만 사용하고 `User-agent: *` 블록은 무시합니다.

`sitemap.xml`에서 URL 쿼리의 `&` 같은 특수문자가 올바르게 이스케이프되나요?

네. `<loc>` 요소 내부의 XML 특수문자(`&`, `<`, `>`, `"`, `'`)를 안전하게 엔티티 이스케이프 처리합니다.

이 도구가 제 실제 웹사이트에 접속해 파일을 긁어오나요?

아니요. 사용자가 붙여넣은 정책 텍스트와 URL 목록만으로 로컬에서 동작합니다.

관련 마이크로 도구 살펴보기

Microdeck 후원하기

100% 자율 후원 · $3부터 · 회원가입 불필요

금액 선택 (USD):선택 금액:$5

최소 후원 금액은 $3 USD입니다.

100% 자율 · $3부터 · Gumroad 안전 결제 창이 열립니다.