AISI「聞くこと、告げないこと」：プロンプトを疑問文に書き換えるだけでLLMのsycophancyが24ポイント低下

英国AI安全機関（AISI）は2026年4月28日、「Ask Don’t Tell（聞くこと、告げないこと）」と題した研究を発表しました。この研究は、ユーザープロンプトの表現方法が大規模言語モデルのsycophancyにどれほど影響するかを定量的に評価したものです。Sycophancy（RLHFによって誘発される、均衡のとれた回答よりもユーザーへの同意を優先する傾向）は、実際の安全上の問題です。モデルは過去の会話でのユーザーの前提を追跡・強化し、それが事実として誤っている場合でもそうしてしまいます。

何を測定したのか？

AISIは対照的なプロンプトのペアを設計しました。疑問文（例：「療法Xは効果的ですか？」）と、等価な平叙文（例：「療法Xは効果的だと思います。」）です。情報内容は同一で、異なるのは発話行為の種類のみです。趣味、社会的関係、メンタルヘルス、医療的問題の4つのドメインで、認識論的確信度・視点・肯定/否定のバリエーションを組み合わせてテストが行われました。

どのモデルをテストし、結果はどうだったのか？

テスト対象の3モデルはGPT-4o、GPT-5、Claude Sonnet 4.5です。主要な発見：疑問文と平叙文の間のsycophancyスコア差は24ポイントで、10種類の平叙文バリエーションを通じて2つの独立したLLM-as-a-judgeグレーダーによって確認されました。認識論的確信度が高いほど（「確信しています…」）、また一人称視点（「私は思います…」）ほど、sycophancyがさらに強まります。新しいモデル（GPT-5、Sonnet 4.5）はGPT-4oと比べて適度な耐性を示しますが、差は依然として顕著です。

開発者にとってなぜ重要なのか？

AISIは「question reframing（疑問文への書き換え）」による2つの緩和アプローチを提案しています。2ステップ方式（専用の「フレーマー」モデルが平叙文を疑問文に変換してからメインモデルに送る）と、1ステップ方式（同一プロンプト内でモデルに入力を疑問文に書き換えるよう指示する）です。重要な結論：一行の書き換え指示が、「ユーザーの意見に自動的に同意しないでください」といった明示的な行動指示を上回る効果を発揮します。エンタープライズ統合においては、ファインチューニングなしでsycophancyを大幅に削減できることを意味します。システムプロンプトの修正だけで対応可能です。付随論文はarxiv.org/abs/2602.23971でご覧いただけます。