arXiv:2606.00914：敵対的フィードが AI エージェントの判断を覆しうる

arXiv 上の新しい論文「Adversarial Feeds Steer LLM Agent Decisions Against Their Defaults」は、著者を Rana Muhammad Usman とし、情報フィードの内容と順序が LLM エージェントの意思決定にどの程度影響するかを調査している。

研究はどのように行われたのか？

この研究はモデル、ペルソナ、トピック、判断プロンプトを不変に保ち、10 ラウンドの「スクロール」フェーズ中のフィードの内容のみを変える。検証は 2,785 回のロールアウト、すなわち判断の個々の実行を、3つの独立した研究所による4つの現代的なオープンな instruct LLM モデル上で行った。ここでのロールアウトとは、エージェントがシナリオを最後まで進めて判断を下すまでの一回の完全な過程である。

フィードはどのように判断を変えるのか？

著者らは3つの応答レジームを特定する。すなわち敵対的な降伏、デフォルトの立場での飽和、そしてデフォルトの立場へ向けた非対称性である。重要な知見はこの非対称性だ。一方的なフィードはモデルが本当に確信を持てない判断を、最も明白なケースでは 5% から 100% へと動かせるが、モデルがすでに支持または確固として保持している判断は動かせない。この効果の統計的有意性は p = 3 × 10⁻¹⁰ ほどの強いレベルに達した。

実用的な制御面とは何か？

著者らは情報のランカーを「LLM エージェントに対する実用的で、デフォルトに制約された制御面」と表現する。制御面とは、それを通じてエージェントの挙動を形作れるシステムの層のことだ。レコメンドシステムはエージェントがそもそもどの情報をどの順序で見るかを決めるため、強力な影響力のレバーとなる。ただしそれはモデルのデフォルトの傾向が設定する境界の内側に限られる。

これは安全性にとって何を意味するのか？

主な含意は、安全性評価を最終プロンプトの単独での検証に限定してはならないということだ。情報のランク付けの層も見直す必要がある。なぜなら、まさにそれが判断に至る前にエージェントを誘導しうるからだ。この効果はジェネレータの交換を経ても残存し、安全性に関わる選択を含むさまざまな判断領域にわたって一般化し、単純な防御策によって部分的に緩和可能であることが示された。