arXiv:2606.09700：タイポグラフィック攻撃が1%未満の検出率でAIコンテンツモデレーションを回避

テネシー大学、IBM Research、イリノイ大学の研究者たちは、2026年6月8日（v1）にarXiv:2606.09700を発表しました。この論文はコンテンツモデレーションシステムに対する新しいクラスの攻撃を定義しています。USENIX Security 2026で採択されたこの手法は、テキストのタイポグラフィック操作のみに基づいており、意味論的なメッセージを変更することなく、またモデレーターモデルの内部パラメータへのアクセスも不要です。

HPAA攻撃とは何ですか

HPAA（Human-Perceptible Adversarial Attacks）は、空白、強調、テキストの空間的配置——人間が知覚できるタイポグラフィック要素——を使用して、自動検出器から有害なコンテンツを隠しながら人間には容易に読めるように保つ攻撃です。ピクセルレベルの古典的な敵対的摂動や隠れたUnicodeトークンとは異なり、HPAAの操作は明確に知覚可能です：読者は労力なくメッセージをデコードできる一方、モデレーションシステムはコンテンツを安全と分類します。

テスト結果：13システム、86%、1%未満

著者——Qin Yang、Lu Malloy、Joshua Lee、Xiaohan Chang、Meisam Mohammady、Doowon Kim、Yuan Hong——は13の商用およびオープンソースのコンテンツモデレーションシステムでこの手法をテストしました：

• 86%超の人間による認識率——評価パネルはタイポグラフィック的に変更された形式でも有害なコンテンツを正しく識別
• 1%未満の検出率——自動モデレーターはほぼ攻撃を認識できない
• わずか3件のクエリで検出器に対して——グラジェント情報なしのブラックボックスアプローチ

比較は雄弁です：アルゴリズムが安全と判断する同じテキストを、人間は100件中86件以上で有害と認識します。機械検出と人間の知覚の間のこのギャップはこれほどの精度で定量化されたことはありませんでした。

AIモデレーターが操作されたタイポグラフィを「見えない」理由は何ですか？

原因はLLMと人間の視覚システムの間のアーキテクチャ的な非対称性にあります。LLMのトークン化は静的なルールに従ってテキストを部分文字列に分解し、脳が操作されたテキストの意図された意味を自動的に再構築する視覚知覚レイヤーを持っていません。攻撃者が文字の間に挿入したスペースや予期しない改行は、読者にとって意味論を変えませんが、モデレーターが検出に使用するトークン化パターンを乱します。

著者たちは、既存のモデレーターのファインチューニングだけでは不十分であると結論付けています：長期的な解決策には、タイポグラフィック的なノイズに対してロバストな視覚的前処理レイヤーまたはトークン化スキームが必要です。