작동 원리 및 구조
평가 엔진은 가장 구체적으로 일치하는 `User-agent` 그룹을 먼저 선택하고(일치하는 전용 그룹이 없을 때만 `*`로 폴백), 와일드카드 `*` 및 경로 끝 앵커 `$`를 정규 매처로 변환한 뒤 RFC 9309 규칙에 따라 가장 길게 일치하는 패턴을 채택합니다(길이가 같으면 `Allow` 우선).
단계별 사용 방법
Section 1에 `robots.txt` 내용을 붙여넣고 크롤러 User-Agent(`Googlebot`, `GPTBot`, `*`)와 테스트할 URL 경로를 입력합니다.
결과가 `ALLOWED`(허용)인지 `BLOCKED`(차단)인지, 그리고 몇 번째 줄 규칙이 적용되었는지 확인합니다.
Section 2에 정규 `https://` URL 목록(한 줄에 하나)을 붙여넣고 `changefreq`, `priority`, `lastmod`를 선택합니다.
생성된 `sitemap.xml`을 복사하거나 다운로드해 사이트 `public/` 폴더에 배치합니다.
주요 기능 및 장점
- 정확한 RFC 9309 최장 패턴 우선순위 구현(`Allow: /tools/`가 `Disallow: /`를 재정의하는 경우 완벽 처리)
- `Allow` 및 `Disallow` 패턴 내 `*` 와일드카드와 `$` 끝 앵커 지원
- 전용 봇 규칙(`GPTBot`, `Bingbot`, `Googlebot`)과 `*` 폴백 동작 정밀 시뮬레이션
- `<urlset>` 사이트맵 컴파일 시 URL 특수문자(`&`, `<`, `>`) 안전한 XML 이스케이프 처리
- 100% 브라우저 로컬 동작: 미공개 스테이징 사이트 주소 구조도 외부 유출 없이 테스트
계산 방식, 공식 및 기술 표준
단순한 위에서 아래 첫 일치 방식이 아니라 RFC 9309 §2.2.2 최장 일치 구체성 규칙을 따르며, 동일 길이 충돌 시 `Allow`를 우선하고 일치 패턴이 없으면 허용으로 기본 판정합니다.
실제 활용 사례
- SEO 업데이트 배포 전 복잡한 `Disallow: /*?preview=` 및 `Allow:` 예외 규칙 사전 테스트
- 운영 파일을 건드리지 않고 AI 크롤러 정책(`GPTBot`, `ClaudeBot`, `CCBot`) 검증
- 랜딩 페이지, 마이크로사이트, Cloudflare Pages 배포용 깔끔한 `sitemap.xml` 생성
- Search Console의 "robots.txt에 의해 차단됨" 경고 원인 신속히 디버깅
입출력 예시 및 엣지 케이스
Specific Allow Beats Shorter Disallow
Disallow: /tools/ | Allow: /tools/env-diff-sanitizer/ | Path: /tools/env-diff-sanitizer/
ALLOWED (longer Allow rule overrides shorter Disallow)
RFC 9309 resolves by matched character length, not file line number.
Agent-Specific Block
User-agent: GPTBot -> Disallow: /
BLOCKED for GPTBot, ALLOWED for Googlebot (falls back to `*`)
Targeted agent groups do not inherit wildcard `*` group rules.
제한 사항 및 정확도 안내
- • 단일 파일 `sitemap.xml` 표준 상한(50,000개 URL) 이하의 정규 URL 생성을 전제로 하며, 더 큰 카탈로그는 `<sitemapindex>`로 분할해야 합니다.
- • `Crawl-delay` 같은 비표준 확장 지시문은 경로 허용/차단 판정 시 안전하게 무시됩니다.
브라우저 로컬 처리 및 개인정보 보호
일반 웹 변환기는 문서나 미디어 파일을 원격 서버에 업로드합니다. robots.txt RFC 9309 검사기 & sitemap.xml 생성기 도구는 현재 브라우저 탭 내부에서만 실행됩니다:
입력 텍스트와 파일은 외부 서버로 전송되지 않고 기기 내에서 로컬로 계산됩니다.
도구에 붙여넣은 파일이나 데이터를 서버에 기록하거나 저장하지 않습니다.
작업 결과는 브라우저 탭 메모리에만 유지되며 탭을 닫거나 초기화하면 즉시 해제됩니다.
자주 묻는 질문 (FAQ)
`Allow: /tools/`가 `Disallow: /`보다 아래에 적혀 있어도 허용되는 이유는 무엇인가요?
RFC 9309를 따르는 최신 검색엔진 크롤러는 작성 순서가 아니라 `Allow`와 `Disallow` 중 경로 패턴이 더 길게 일치하는 규칙을 채택하며, 길이가 같으면 `Allow`를 우선합니다.
`User-agent: Googlebot` 블록이 따로 있을 때 `User-agent: *` 규칙도 함께 상속받나요?
아니요. 크롤러가 자신에게 해당하는 전용 `User-agent:` 그룹을 찾으면 오직 해당 블록만 사용하고 `User-agent: *` 블록은 무시합니다.
`sitemap.xml`에서 URL 쿼리의 `&` 같은 특수문자가 올바르게 이스케이프되나요?
네. `<loc>` 요소 내부의 XML 특수문자(`&`, `<`, `>`, `"`, `'`)를 안전하게 엔티티 이스케이프 처리합니다.
이 도구가 제 실제 웹사이트에 접속해 파일을 긁어오나요?
아니요. 사용자가 붙여넣은 정책 텍스트와 URL 목록만으로 로컬에서 동작합니다.
관련 마이크로 도구 살펴보기
오픈그래프(OG) · 소셜 링크 & 구글 검색 미리보기
구글 검색 결과, X(트위터), 디스코드, 슬랙, 페이스북, iMessage 공유 카드를 시뮬레이션하세요
JSON-LD 구조화 데이터 스키마 생성기
FAQPage, Article, Product, SoftwareApplication, BreadcrumbList용 Schema.org `<script type="application/ld+json">` 생성
대량 HTTP 301/302 리다이렉트 규칙 생성기
URL 매핑 목록을 Cloudflare/Netlify `_redirects`, Cloudflare Bulk CSV, Nginx, Apache `.htaccess`, `vercel.json`으로 일괄 변환