작동 원리 및 구조
단순 `.split("")` 대신 `for (const ch of input)`으로 유니코드 스칼라 코드 포인트를 순회해 이모지 서로게이트 쌍을 깨뜨리지 않고 유지하며, `TextEncoder`로 UTF-8 바이트 시퀀스를 추출하고 위험한 제어 문자(제로 너비 문자 `U+200B`–`U+200D`/`U+2060`/`U+FEFF`, 양방향 오버라이드 `U+202A`–`U+202E`/`U+2066`–`U+2069`, 특수 공백 `U+00A0` NBSP)를 분류합니다.
단계별 사용 방법
의심스러운 소스 코드, 도메인 이름, 마크다운 문구 또는 오류를 유발하는 설정 문자열을 붙여넣습니다.
숨겨진 제로 너비 문자, BiDi Trojan Source 제어 문자, 줄바꿈 방지 공백(`U+00A0`)을 강조해 주는 진단 경고 배너를 확인합니다.
문자 배지, `U+XXXX`, 10진수 스칼라, UTF-8 16진수 바이트, 위험 분류가 담긴 코드 포인트 분석 표를 살펴봅니다.
'보이지 않는 제어 문자 제거', '특수 공백을 일반 ASCII 공백으로 치환' 또는 `NFC`/`NFD`/`NFKC`/`NFKD` 정규화를 클릭해 깨끗한 문자열을 복사합니다.
주요 기능 및 장점
- CVE-2021-42574 Trojan Source BiDi 오버라이드 공격 문자(`RLO`, `LRO`, `PDI` 등) 정밀 탐지
- 파서나 URL을 조용히 망가뜨리는 보이지 않는 `U+200B` ZWSP, `U+200C`/`U+200D` 결합자, `U+FEFF` BOM, `U+00A0` NBSP 경고
- 4바이트 UTF-8 이모지(Astral Plane)도 서로게이트 쌍 분리 없이 정확하게 처리
- 원클릭 `NFC` / `NFD` / `NFKC` / `NFKD` 정규화(macOS 한글 자소 분리 복구 등) 및 제어 문자 일괄 제거
- 보안 사고 문자열도 안심할 수 있는 100% 브라우저 전용 로컬 실행
계산 방식, 공식 및 기술 표준
문자 분리는 유니코드 코드 포인트 순회(`Array.from(text)`)를, UTF-8 바이트 길이는 `new TextEncoder().encode(ch)`를 사용합니다. 정규화는 ECMAScript 내장 UAX #15(`String.prototype.normalize`)를 호출합니다. 가족 이모지 등 복합 이모지 내부에 포함된 정상적인 ZWJ(`U+200D`)도 눈에 띄게 표시하여 사용자가 제거 여부를 직접 선택할 수 있게 합니다.
실제 활용 사례
- 겉보기에 똑같은 두 YAML 키, JSON 키, Python 식별자가 동등성 비교(`===`)에 실패하는 원인 추적(`U+200B` 또는 NFD vs NFC 자소 분리 불일치)
- 코드 병합 전 신뢰할 수 없는 외부 스니펫에 숨겨진 Trojan Source 방향 제어 스푸핑 여부 감사
- ChatGPT나 Word에서 복사한 글에 섞인 `U+00A0` 공백이나 `U+200B` 워터마크 깨끗이 제거
- 네트워크 프로토콜 디버깅을 위해 특정 문자의 정확한 UTF-8 바이트 시퀀스 검증
입출력 예시 및 엣지 케이스
Hidden Zero-Width Space in Variable Name
apiKey = "123"
Flagged U+200B (ZERO WIDTH SPACE) at index 3 -> Sanitized: apiKey = "123"
Visually looks like `apiKey` in most fonts but causes `ReferenceError` or auth header mismatches.
Vietnamese NFD vs NFC Normalization
tiếng (decomposed e + combining acute + circumflex = 7 chars)
NFC -> tiếng (composed = 5 chars, identical visually)
macOS HFS+/APFS filenames often use NFD while Linux/Windows/Web use NFC.
제한 사항 및 정확도 안내
- • 모든 `U+200D`(Zero Width Joiner)를 일괄 제거하면 여러 사람이 결합된 복합 ZWJ 이모지가 각각의 개별 기본 이모지로 분리됩니다.
- • 서로 다른 문자 체계 간의 시각적 유사 문자(예: 키릴 문자 `а` vs 라틴 문자 `a`)는 정상적인 다국어 텍스트가 손상되지 않도록 자동 삭제하지 않고 `U+XXXX` 코드 포인트(`U+0430` vs `U+0061`) 표시로 구분할 수 있게 제공합니다.
브라우저 로컬 처리 및 개인정보 보호
일반 웹 변환기는 문서나 미디어 파일을 원격 서버에 업로드합니다. 유니코드 코드 포인트 검사기 & 숨은 문자 제거기 도구는 현재 브라우저 탭 내부에서만 실행됩니다:
입력 텍스트와 파일은 외부 서버로 전송되지 않고 기기 내에서 로컬로 계산됩니다.
도구에 붙여넣은 파일이나 데이터를 서버에 기록하거나 저장하지 않습니다.
작업 결과는 브라우저 탭 메모리에만 유지되며 탭을 닫거나 초기화하면 즉시 해제됩니다.
자주 묻는 질문 (FAQ)
Trojan Source BiDi 공격이란 무엇인가요?
CVE-2021-42574로 등록된 취약점으로, 공격자가 주석이나 문자열 내부에 보이지 않는 양방향(Bidirectional) 제어 문자(`U+202E`, `U+2066` 등)를 심어 사람 코드 리뷰어에게 보이는 논리 순서와 컴파일러가 실제로 실행하는 순서를 다르게 속이는 기법입니다.
NFC와 NFKC 정규화는 각각 언제 선택해야 하나요?
일반 텍스트나 한글(자소 결합), 유럽어 악센트 복구에는 `NFC`를 사용하세요. 전각 ASCII(`A`), 위 첨자(`²`), 합자(`fi`) 같은 호환 문자까지 일반 ASCII 등가 문자로 합치고 싶다면 `NFKC`를 선택하면 됩니다.
macOS에서 복사한 파일명이나 텍스트가 Linux와 유니코드 길이가 다르게 나오는 이유는 무엇인가요?
macOS 파일 시스템(HFS+/APFS)은 한글 자모나 악센트 문자를 자소가 풀어진 `NFD` 형태로 저장하는 경우가 많은 반면, 웹 폼이나 Linux/Windows는 완성형 `NFC` 형태를 사용하기 때문입니다.
이모지가 들어있는 문자열도 깨지지 않고 정확히 분석되나요?
네. UTF-16 서로게이트를 반으로 쪼개지 않고 온전한 21비트 코드 포인트 스칼라(`U+1F680` 등) 단위로 읽어 정확히 처리합니다.