仕組みと内部処理
単純な `.split("")` で絵文字のサロゲートペアを壊すことなく、`for (const ch of input)` で Unicode スカラー単位で正確に走査し、`TextEncoder` で UTF-8 バイト列を算出します。ゼロ幅文字(`U+200B`〜`U+200D`, `U+2060`, `U+FEFF`)、双方向制御文字(`U+202A`〜`U+202E`, `U+2066`〜`U+2069`)、非ASCII空白(`U+00A0` 等)を危険分類して表示します。
使い方ステップ
原因不明のエラーが出るコード、怪しいドメイン名、Markdown 原稿、設定文字列を貼り付けます。
上部の診断アラートバナーで、隠れたゼロ幅文字・BiDi Trojan Source 制御文字・ノーブレークスペース(`U+00A0`)の有無を確認します。
コードポイント一覧表で各文字のグリフ、`U+XXXX`、10進スカラー値、UTF-8 16進バイト、危険判定をチェックします。
「不可視制御文字を削除」「特殊空白を半角スペースに置換」または「正規化(`NFC`/`NFD`/`NFKC`/`NFKD`)」をクリックしてクリーンな文字列をコピーします。
主な機能と特長
- CVE-2021-42574 Trojan Source BiDi 方向オーバーライド攻撃文字(`RLO`, `LRO`, `PDI` 等)を自動検出
- パーサーや URL を壊す不可視の `U+200B` ZWSP、`U+200C`/`U+200D` 接合子、`U+FEFF` BOM、`U+00A0` NBSP をハイライト
- 4バイト UTF-8 絵文字などの追加面文字(サロゲートペア)を分割せず正確に処理
- ワンクリックで `NFC` / `NFD` / `NFKC` / `NFKD` 正規化&不可視文字の一括除去
- インシデント調査中の怪しい文字列も安全な 100% ブラウザ完結実行
計算ロジック・仕様・技術基準
文字列は Unicode コードポイント反復(`Array.from(text)`)で分解し、UTF-8 バイト長は `new TextEncoder().encode(ch)` から取得します。正規化には ECMAScript 標準の UAX #15(`String.prototype.normalize`)を呼び出します。家族絵文字などで使われる正規の ZWJ(`U+200D`)も意図せず壊さないよう可視バッジで警告表示し、除去するかユーザーが判断できる設計にしています。
主な利用シーン
- 見た目が全く同じなのに一致しない YAML/JSON キーや Python 識別子(`U+200B` 混入や NFC/NFD 濁点分離問題)の原因特定
- 外部コードのマージ前に、見えない Trojan Source 方向制御文字が仕込まれていないかセキュリティ監査
- ChatGPT や Word からコピペした文章に混ざる `U+00A0` ノーブレークスペースや `U+200B` の一括クリーニング
- プロトコルデバッグ用に文字の正確な UTF-8 バイト表現を調査
入出力の例・エッジケース
Hidden Zero-Width Space in Variable Name
apiKey = "123"
Flagged U+200B (ZERO WIDTH SPACE) at index 3 -> Sanitized: apiKey = "123"
Visually looks like `apiKey` in most fonts but causes `ReferenceError` or auth header mismatches.
Vietnamese NFD vs NFC Normalization
tiếng (decomposed e + combining acute + circumflex = 7 chars)
NFC -> tiếng (composed = 5 chars, identical visually)
macOS HFS+/APFS filenames often use NFD while Linux/Windows/Web use NFC.
仕様上の制限・精度に関するご注意
- • すべての `U+200D`(ゼロ幅接合子)を一括削除すると、複数の人物絵文字を組み合わせた ZWJ 結合絵文字が個別の単体絵文字へ分解されます。
- • 異なる文字体系間のホモグリフ(例:キリル文字 `а` とラテン文字 `a`)は正規の多言語テキストを誤破壊しないよう自動置換せず、`U+XXXX` の16進コード表示(`U+0430` vs `U+0061`)によって判別できるようにしています。
ブラウザ内ローカル処理とプライバシー保護
一般的なWebツールは文書やメディアを外部サーバーへ送信します。Unicode 文字コード解析&見えない文字(ゼロ幅スペース)削除ツール はお使いのブラウザタブ内のみで完結します:
入力テキストやファイルは端末内で処理され、外部の処理サーバーへアップロードされません。
作業内容や貼り付けたデータを保存・記録しません(通常の静的配信CDNリクエストのみ発生します)。
作業データはタブ内のメモリ上のみに保持され、リセットまたはタブを閉じると破棄されます。
よくある質問 (FAQ)
Trojan Source BiDi 攻撃とは何ですか?
CVE-2021-42574 として知られる脆弱性手法で、コメントや文字列内に不可視の双方向制御文字(`U+202E`, `U+2066` 等)を混ぜることで、コードレビュー担当者の画面上の見た目とコンパイラが実際に実行する処理順序を食い違わせる攻撃です。
`NFC` と `NFKC` 正規化はどのように使い分ければよいですか?
日本語の濁点結合や一般的なアクセント記号の正規化には `NFC` をお使いください。全角英数字(`A`)や上付き文字(`²`)、合字(`fi`)などもまとめて半角 ASCII 相当へ統一したい場合は `NFKC` が適しています。
macOS と Linux で同じ単語の文字数(Unicode 長)が違って見えることがあるのはなぜですか?
macOS のファイルシステム(HFS+/APFS)は濁点・半濁点やアクセント記号を基底文字+結合文字の `NFD` 形式で保存することが多い一方、Web フォームや Linux/Windows は主に合成済みの `NFC` 形式を使用するためです。
絵文字を入力しても文字化けせずに正しく解析されますか?
はい。UTF-16 のサロゲートペアを半分に割ってしまうことなく、21ビットの Unicode スカラー値(`U+1F680` 等)として正確に読み取ります。