arXiv:2607.15267：フォーラムにおけるコンピュテーショナル・プロパガンダを通じた言語モデル事前学習データの毒化

この新しい研究はデータ毒化について何を明らかにしたのか？

Allen Institute for AIおよびワシントン大学系の研究チーム——Victoria Graf、Hannaneh Hajishirzi、Noah A. Smith、David Kohlbrenner、Kyle Lo——は、事前学習データ（pretraining data、言語モデルがいかなるファインチューニングよりも前に学習するテキストコーパス）が、フォーラムやコメント欄といった公開の議論インターフェースを通じた毒化に対して脆弱であることを示しています。これは「サードパーティのウェブページコンテンツ」——サイトの所有者ではなく第三者が書いたコンテンツ——に関するものであり、これまで攻撃ベクトルとして体系的に研究されてきませんでした。

HalfLife手法

5人の著者は、注入された悪意あるテキストが最終的な事前学習データセットに入る前に、ウェブクロールとデータキュレーション（収集されたデータをフィルタリングし整理するプロセス）の全連鎖を生き延びるかどうかを測定する分析手法、HalfLifeを導入しています。最終結果だけを観察するのではなく、HalfLifeは生のクロールから重複排除、品質フィルタリングに至るまで、処理の各段階を通じてコンテンツを追跡します。

フォーラムとウィキペディア——その違いはどこにあるのか？

ウィキペディアおよび類似の管理されたソースは、公開前に編集上の審査とモデレーションを経るため、悪意あるテキストの挿入はより困難で、より早く気づかれます。フォーラムのコメントにはこの管理層がありません——誰でもテキストを投稿でき、その後クローラーがページの残りの部分と一緒にそれを拾い上げますが、作者や意図の確認は行われません。

なぜこれが言語モデルの安全性にとって重要なのか

これまでのデータ毒化に関する研究は、主に管理された、あるいは半自動化されたソースに焦点を当ててきました。この研究は、焦点を「コンピュテーショナル・プロパガンダ」（computational propaganda）——操作を目的とした、協調的でソフトウェアに支援されたコンテンツの拡散——に移し、コメントの作者性をフィルタリングする仲介者なしにオープンウェブから直接学習するモデルに毒を注入する現実的な経路として提示しています。