Microdeck.tools 100% ブラウザ完結

重複行削除・リスト整理&集合比較(A∩B / A−B)ツール

New

メールアドレスリスト、ログ出力、IPブロックリスト、キーワード CSV を瞬時に整理。大文字小文字の区別設定付き重複行削除、自然順ソート、SQL `IN (...)` 用クォート囲み、さらに2つのリストのベン図集合演算(`A ∩ B`, `A − B`, `B − A`, `A ∪ B`)に対応しています。

100% ブラウザ完結 サーバー送信なし 即時処理

このツールは作業時間の短縮に役立ちましたか? Microdeckの無料運営と継続開発への応援(任意・$3〜)。

仕組みと内部処理

リストクリーナーは、行前後の空白トリム、空行削除、`Set` を用いた元の出現順を保つ重複排除、ソート(アルファベット順・`Intl.Collator` による自然数値順・文字数順・Fisher-Yates シャッフル)、プレフィックス/サフィックス囲みと任意区切り文字結合を段階的に処理します。集合比較ではリスト A と B をハッシュ集合へ格納して瞬時に集合演算を行います。

使い方ステップ

1

整理したい生テキストリストを「Clean & Sort」欄に貼り付けます(2リスト比較時は「Set Compare」に切り替えて List A / List B に入力します)。

2

「前後空白をトリム」「空行を削除」「重複を削除」「大文字小文字を区別しない」のオプションを切り替えます。

3

並び替えモード(元の順序、A→Z、Z→A、自然数値順、文字数順、シャッフル)を選択します。

4

必要に応じて前後囲み文字(例:`'`)と結合文字(`, `)を設定して SQL `IN (...)` リストを即生成するか、集合比較で `共通 (A∩B)`・`Aのみ`・`Bのみ` の件数と中身を確認します。

主な機能と特長

  • ソートを指定しない限り、重複削除時も元の先頭出現順序をそのまま保持
  • 偏りのない Fisher-Yates シャッフルと `Intl.Collator` 自然順ソート(`item10` より前に `item2` が来る)
  • 改行リストを瞬時に SQL `IN ('a', 'b')` や JSON 行へ変換できるプレフィックス/サフィックス/結合子機能
  • 4方向の完全ベン図集合比較(`Aのみ`, `Bのみ`, `A ∩ B`, `A ∪ B`)
  • メールアドレスや顧客 ID、ファイアウォール IP リストもサーバー送信ゼロで処理

計算ロジック・仕様・技術基準

重複排除は生の文字列または `.toLocaleLowerCase()` をキーとした JavaScript `Set` により $O(n)$ で実行されます。大文字・小文字を区別しない設定での積集合 `A ∩ B` では、リスト A 側の表記を優先して保持します。

主な利用シーン

  • 昨日のデプロイ済みマイクロサービス一覧と今日の稼働 Pod 一覧の差分比較(`A − B` / `B − A`)
  • Excel からコピーした 200件の注文 ID を重複排除し、カンマ区切りの SQL `WHERE id IN (...)` 句へ一発変換
  • 表計算ソフトを開かずに SEO キーワードやドメイン許可リストの重複をクレンジング
  • 連番付きのビルド成果物名(`release-2` と `release-10` など)を自然な数値順で整列

入出力の例・エッジケース

Excel Column to SQL IN List

入力
ord_101\n ord_102 \nord_101\n
出力
'ord_101', 'ord_102'

Enable Trim + Remove empty + Deduplicate, Prefix=`'`, Suffix=`'`, Join=`, `.

Set Comparison (A vs B)

入力
A: [alpha, beta, gamma]  |  B: [beta, delta]
出力
Intersection (A∩B): [beta] | Only A: [alpha, gamma] | Only B: [delta]

Useful for quick database seed verification or recipient list exclusions.

仕様上の制限・精度に関するご注意

  • • 集合演算は行単位(任意で前後トリム後)の完全一致で比較します。複数列を持つ構造化 CSV のキー結合には専用の CSV/SQL ツールをご利用ください。
  • • 10MB を超える(数十万行規模の)非常に巨大なテキストを貼り付けた場合、画面の再描画時にブラウザタブが一時的に重くなることがあります。

ブラウザ内ローカル処理とプライバシー保護

一般的なWebツールは文書やメディアを外部サーバーへ送信します。重複行削除・リスト整理&集合比較(A∩B / A−B)ツール はお使いのブラウザタブ内のみで完結します:

このタブ内で処理完結

入力テキストやファイルは端末内で処理され、外部の処理サーバーへアップロードされません。

入力データのログ保存なし

作業内容や貼り付けたデータを保存・記録しません(通常の静的配信CDNリクエストのみ発生します)。

タブ単位の一時メモリ管理

作業データはタブ内のメモリ上のみに保持され、リセットまたはタブを閉じると破棄されます。

よくある質問 (FAQ)

ソートを「元の順序を保持(Keep Original Order)」にしたまま重複削除すると順番は変わりますか?

いいえ。各ユニーク項目が最初に登場した位置の順番をそのまま維持した状態で、2回目以降の重複行だけを取り除きます。

「自然数値順(Natural Numeric)」ソートとは何ですか?

通常の文字コード順ソートでは `file10.png` が `file2.png` より先に来てしまいますが、自然順ソートでは文字列中の数字の大きさを数値として比較するため `file2.png` ➔ `file10.png` と直感的な順序に並びます。

顧客のメールアドレスリストを外部に送信せずに2つ比較できますか?

はい。集合比較(Set Compare)を含めすべての処理がお使いのブラウザタブ内のメモリだけで完結します。

大文字・小文字を区別しない(Case-Insensitive)比較のとき、積集合(Intersection)にはどちらの表記が残りますか?

`Alice@x.com` と `alice@x.com` のように大文字・小文字だけが異なる場合、積集合の出力にはリスト A(左側)の表記が優先して残ります。

関連するマイクロツール

Microdeckを応援する

完全任意 · $3から · アカウント登録不要

金額を選択 (USD):選択中:$5

最小金額は $3 USD です。

完全任意 · $3から · Gumroadの安全な決済ページが開きます。