So funktioniert es unter der Haube
Der Inspektor iteriert sauber über Unicode-Skalar-Codepoints via `for (const ch of input)` (sodass Emoji-Surrogatpaare intakt bleiben), berechnet UTF-8-Bytefolgen mit `TextEncoder` und klassifiziert gefährliche Steuerzeichen: Zero-Width-Zeichen (`U+200B`–`U+200D`, `U+2060`, `U+FEFF`), Bidirektionale Overrides (`U+202A`–`U+202E`, `U+2066`–`U+2069`) sowie geschützte Leerzeichen (`U+00A0` NBSP).
Schritt-für-Schritt-Anleitung
Fügen Sie verdächtigen Quellcode, eine Domain, Markdown-Text oder einen fehlerverursachenden Konfig-String ein.
Prüfen Sie das Diagnose-Banner auf versteckte Zero-Width-Zeichen, BiDi-Trojan-Source-Controls oder geschützte Leerzeichen (`U+00A0`).
Sehen Sie in der Codepoint-Tabelle jedes Zeichen samt Glyphe, `U+XXXX`, Dezimalwert, UTF-8-Hexbytes und Risikostufe.
Klicken Sie auf „Unsichtbare Steuerzeichen entfernen“, „Spezial-Leerzeichen durch ASCII-Leerzeichen ersetzen“ oder „Normalisieren (`NFC`, `NFD`, `NFKC`, `NFKD`)“.
Wichtige Funktionen & Vorteile
- Erkennt CVE-2021-42574-Trojan-Source-BiDi-Zeichen (`RLO`, `LRO`, `PDI` etc.)
- Markiert unsichtbare `U+200B` ZWSP, `U+200C`/`U+200D`-Joiner, `U+FEFF` BOM und `U+00A0` NBSP, die Parser/URLs unbemerkt sprengen
- Korrekte Behandlung von 4-Byte-UTF-8-Emojis (trennt keine Surrogatpaare)
- 1-Klick-Normalisierung für `NFC` / `NFD` / `NFKC` / `NFKD` und Steuerzeichen-Entfernung
- 100 % lokale Ausführung im Browser — sicher für Security-Incident-Analysen
Methodik, Formeln & technische Standards
Zeichen werden mittels Codepoint-Iteration (`Array.from(text)`) getrennt, UTF-8-Längen über `new TextEncoder().encode(ch)` ermittelt. Die Normalisierung nutzt ECMAScript UAX #15 (`String.prototype.normalize`). Reguläre ZWJ-Zeichen (`U+200D`) in zusammengesetzten Emojis werden sichtbar markiert, damit Sie gezielt entscheiden können.
Häufige Anwendungsfälle aus der Praxis
- Herausfinden, warum zwei identisch aussehende YAML-, JSON- oder Python-Bezeichner bei Vergleichen fehlschlagen (`U+200B` oder gemischtes NFC/NFD)
- Fremde Code-Snippets vor dem Merge auf Trojan-Source-Richtungsmanipulationen prüfen
- Aus ChatGPT oder Word kopierte Texte von `U+00A0`-Leerzeichen und `U+200B`-Wasserzeichen befreien
- Exakte UTF-8-Bytefolgen einzelner Zeichen für das Protokoll-Debugging prüfen
Praxisbeispiele & Grenzfälle
Hidden Zero-Width Space in Variable Name
apiKey = "123"
Flagged U+200B (ZERO WIDTH SPACE) at index 3 -> Sanitized: apiKey = "123"
Visually looks like `apiKey` in most fonts but causes `ReferenceError` or auth header mismatches.
Vietnamese NFD vs NFC Normalization
tiếng (decomposed e + combining acute + circumflex = 7 chars)
NFC -> tiếng (composed = 5 chars, identical visually)
macOS HFS+/APFS filenames often use NFD while Linux/Windows/Web use NFC.
Hinweise zu Grenzen & Genauigkeit
- • Das Entfernen aller `U+200D` (Zero Width Joiner) zerlegt zusammengesetzte Familien-/Berufs-Emojis in ihre Einzel-Emojis.
- • Visuelle Homoglyphen über verschiedene Alphabete (z. B. kyrillisches `а` vs. lateinisches `a`) lassen sich über den `U+XXXX`-Hexcode (`U+0430` vs. `U+0061`) erkennen, werden aber nicht automatisch gelöscht, um legitimen Text zu schützen.
Lokale Verarbeitung im Browser & Datenschutz
Herkömmliche Online-Konverter laden Ihre Dokumente, Texte oder Mediendateien auf fremde Server. Unsichtbare Zeichen entfernen & Unicode Inspector läuft direkt in Ihrem Browser-Tab:
Ihre Texte und Dateien werden lokal berechnet, ohne Inhalte an einen Verarbeitungsserver zu senden.
Microdeck protokolliert oder speichert weder Ihre Dateien noch Texteingaben (normale CDN-Abrufe laden lediglich die statische Seite).
Arbeitsergebnisse bleiben ausschließlich im Arbeitsspeicher des Tabs und werden beim Zurücksetzen oder Schließen freigegeben.
Häufig gestellte Fragen (FAQ)
Was ist ein Trojan-Source-BiDi-Angriff?
Unter CVE-2021-42574 bekannt: Angreifer verstecken unsichtbare bidirektionale Steuerzeichen (`U+202E`, `U+2066` etc.) in Kommentaren oder Strings, sodass menschliche Reviewer eine andere Ausführungsreihenfolge sehen als der Compiler.
Wann sollte ich NFC statt NFKC zur Normalisierung wählen?
Nutzen Sie `NFC` für reguläre Texte inklusive Umlauten und Akzenten. Nutzen Sie `NFKC`, wenn auch Kompatibilitätszeichen (wie vollbreite `A`, hochgestellte `²` oder Ligaturen `fi`) auf einfache ASCII-Zeichen zurückgeführt werden sollen.
Warum zeigt macOS manchmal eine andere Zeichenlänge als Linux für dasselbe Wort?
macOS-Dateisysteme speichern Umlaute und Akzente oft zerlegt in `NFD` (Basisbuchstabe + kombinierender Akzent), während Linux und Webformulare meist vorkomponiertes `NFC` verwenden.
Geht der Inspektor sauber mit Emojis um?
Ja, die Codepoint-Iteration liest vollständige 21-Bit-Skalare (`U+1F680` etc.), statt UTF-16-Surrogate in kaputte Hälften zu zerschneiden.
Ähnliche Mikro-Tools entdecken
Groß-/Kleinschreibung & SEO-Slug Konverter
Zwischen 11 Schreibweisen (camelCase, snake_case, kebab-case) & sauberen URL-Slugs wandeln
Text vergleichen & Unterschiede anzeigen (Diff)
Zwei Texte zeilen- oder wortweise vergleichen & einheitliche .patch-Dateien exportieren
Base64, URL & Hex Encoder/Decoder
Multi-Format-Konverter mit Auto-Erkennung für Base64, URL, Hex & HTML