Como funciona por dentro
O inspetor percorre os pontos de código escalares Unicode corretamente usando `for (const ch of input)` (mantendo pares substitutos de emojis intactos) em vez de `.split("")`, codifica bytes UTF-8 com `TextEncoder` e classifica controles perigosos: largura zero (`U+200B`–`U+200D`, `U+2060`, `U+FEFF`), overrides bidirecionais (`U+202A`–`U+202E`, `U+2066`–`U+2069`) e espaços não-ASCII (`U+00A0` NBSP).
Passo a passo de uso
Cole código-fonte suspeito, nome de domínio, texto em Markdown ou string de configuração problemática.
Verifique o banner de Alerta Diagnóstico destacando caracteres Zero-Width, controles BiDi Trojan Source ou espaços inquebráveis (`U+00A0`).
Explore a tabela por code point com glifo, `U+XXXX`, valor decimal, bytes hex UTF-8 e classificação de risco.
Clique em Remover Controles Invisíveis, Substituir Espaços Especiais por Espaço ASCII ou Normalizar (`NFC`, `NFD`, `NFKC`, `NFKD`).
Principais recursos e vantagens
- Detecta caracteres de override bidirecional Trojan Source CVE-2021-42574 (`RLO`, `LRO`, `PDI`, etc.)
- Sinaliza `U+200B` ZWSP, junções `U+200C`/`U+200D`, `U+FEFF` BOM e `U+00A0` NBSP que quebram parsers e URLs
- Tratamento correto de plano astral para emojis UTF-8 de 4 bytes sem quebrar pares substitutos
- Normalização `NFC` / `NFD` / `NFKC` / `NFKD` e limpeza de controles em 1 clique
- Execução 100% no navegador segura para análise de incidentes de segurança
Metodologia, fórmulas e padrões técnicos
Os caracteres são divididos via iteração de code points Unicode (`Array.from(text)`), enquanto os bytes UTF-8 vêm de `new TextEncoder().encode(ch)`. A normalização invoca o padrão ECMAScript UAX #15 (`String.prototype.normalize`). Junções legítimas ZWJ (`U+200D`) dentro de emojis compostos são sinalizadas visivelmente para que você decida se deseja removê-las.
Casos de uso práticos
- Descobrir por que duas chaves YAML, JSON ou identificadores Python aparentemente idênticos falham na comparação (`U+200B` ou mistura de NFC vs NFD)
- Auditar trechos de código de terceiros contra spoofing direcional Trojan Source antes do merge
- Limpar textos copiados do ChatGPT ou Word cheios de espaços inquebráveis `U+00A0` ou marcas d'água `U+200B`
- Conferir a representação exata em bytes UTF-8 de caracteres para depurar protocolos
Exemplos resolvidos e casos especiais
Hidden Zero-Width Space in Variable Name
apiKey = "123"
Flagged U+200B (ZERO WIDTH SPACE) at index 3 -> Sanitized: apiKey = "123"
Visually looks like `apiKey` in most fonts but causes `ReferenceError` or auth header mismatches.
Vietnamese NFD vs NFC Normalization
tiếng (decomposed e + combining acute + circumflex = 7 chars)
NFC -> tiếng (composed = 5 chars, identical visually)
macOS HFS+/APFS filenames often use NFD while Linux/Windows/Web use NFC.
Limitações e notas de precisão
- • Remover todos os `U+200D` (Zero Width Joiner) separará emojis compostos de família ou profissões em emojis individuais.
- • Homóglifos visuais entre alfabetos (ex.: `а` cirílico vs `a` latino) podem ser identificados olhando o escalar hex `U+XXXX` (`U+0430` vs `U+0061`), não sendo removidos automaticamente para não estragar textos legítimos.
Processamento local no navegador e privacidade
Conversores comuns enviam seus documentos, códigos ou vídeos para servidores externos. O Inspetor Unicode e Removedor de Caracteres Invisíveis roda direto na sua aba:
Seus textos e arquivos são processados localmente sem enviar conteúdo para servidores.
O Microdeck não registra nem armazena arquivos ou dados colados nas ferramentas.
Os resultados ficam apenas na memória do navegador e somem ao fechar ou limpar a aba.
Perguntas frequentes (FAQ)
O que é um ataque BiDi Trojan Source?
Registrado como CVE-2021-42574, atacantes inserem caracteres bidirecionais invisíveis (`U+202E`, `U+2066`, etc.) em comentários ou strings para que revisores humanos leiam uma ordem lógica diferente daquela executada pelo compilador.
Quando escolher normalização NFC em vez de NFKC?
Use `NFC` para texto padrão e acentos em português, vietnamita e idiomas europeus. Use `NFKC` quando também quiser converter caracteres de compatibilidade (como `A` largura total, sobrescrito `²` ou ligaduras `fi`) para equivalentes ASCII simples.
Por que o macOS às vezes gera comprimentos Unicode diferentes do Linux para a mesma palavra acentuada?
Caminhos de arquivos no macOS costumam armazenar letras acentuadas na forma decomposta `NFD` (letra base + acento combinante), enquanto formulários web e Linux geralmente usam caracteres pré-compostos `NFC`.
O inspetor lê emojis compostos corretamente?
Sim, a iteração por code points lê escalares completos de 21 bits (`U+1F680`, etc.) em vez de dividir substitutos UTF-16 ao meio.
Outras ferramentas relacionadas
Conversor de Maiúsculas/Minúsculas, Case e Slug SEO
Converta entre 11 estilos (camelCase, snake_case, kebab-case, Title Case) e Slugs de URL
Comparador de Texto (Diff Checker) e Gerador de Patch
Compare dois textos linha a linha ou palavra por palavra e exporte arquivos .patch
Codificador e Decodificador Base64, URL, Hex e HTML
Conversor multiformato com detecção automática para Base64, URL, Hex e HTML