見えない文字削除ツール

Unicodeには、全く視覚的なスペースを占めない文字が含まれています。いくつかは良い理由で存在します：ゼロ幅ノンジョイナーはペルシャ語を正しく書くために必要であり、家族の絵文字のような絵文字は、ゼロ幅の結合子で結合された複数の画像から構成されています。他は純粋なフォーマットであり、ワードプロセッサがファイルの先頭に残すバイトオーダーマークのようなものです。これらは画面に表示されないため、コピー＆ペーストを通じて気づかれずに移動し、CMS、スプレッドシート、またはコードベースに到達します。

なぜ問題を引き起こすのか

見えない文字は静かに物事を壊します。キーワード内のゼロ幅スペースは検索の一致を妨げます。CSV列内のノンブレイキングスペースは数値のインポートを壊します。URLスラグ内のソフトハイフンは404を生成します。コード内の識別子内の見えない文字は、画面上で2つの識別子が同一に見えるため、意味のないエラーメッセージを生成します。そして、双方向オーバーライド文字は、ソースコードの行が実際に実行される順序とは全く異なる順序で表示されることがあり、これはよく知られたトロイの木馬攻撃の基礎です。

隠されたメッセージとプロンプトインジェクション

これらの文字の中にはデータを運ぶことができる小さなグループがあります。Unicodeタグブロックは印刷可能なASCIIに1対1でマッピングされるため、タグ文字のシーケンスは文字通り読み取れる文を形成しますが、どのエディタも表示しません。バリエーションセレクタも同様に悪用され、任意のバイトをエンコードできます。両方とも、後でAIアシスタントに貼り付けられるテキスト内に指示を隠すために使用され、文書に指紋を付けて漏洩を特定の受取人に追跡できるようにします。このツールは両方をデコードし、単に削除するのではなく隠された内容を読むことができます。

このツールがそれらを処理する方法

すべての発見は盲目的に削除されるのではなく、分類されます。テキスト内に正当な使用がない文字は確認された発見としてマークされ、削除されます。ペルシャ語の文字間のゼロ幅ノンジョイナーや絵文字内の結合子のように、そこに存在する可能性が高い文字は表示されますが、注意して扱われます - 絵文字の結合子はデフォルトで保持されます。なぜなら、それを削除すると1つの絵文字が3つに分かれてしまうからです。その区別が、テキストをクリーンにすることと損なうことの違いです。