arXiv:2606.18060: PseudoBenchが示すエージェントAIの疑似科学拡散——拒否率はほぼゼロ

新たなプレプリントはPseudoBenchを紹介しています。これは自律型AIエージェントが疑似科学にどれだけ抵抗できるかを測定するベンチマークであり、ほとんど抵抗できないことが明らかになりました。

200件の疑似科学的主張に対するテスト

PseudoBenchは5つの分野にわたる200対の疑似科学的主張と証拠で構成され、7つの最先端AIエージェントでテストされました。ここでの疑似科学とは、科学的な形式を模倣しながら科学的根拠を欠くコンテンツを指します。結果は憂慮すべきものです。拒否率はほぼゼロであり、測定された最高の抵抗力は**27.4%**にとどまりました——エージェントは疑似科学的な前提を拒否するのではなく、受け入れて発展させる傾向があります。

高性能モデルのパラドックス

研究は反直感的なパターンを明らかにしています。高性能なモデルほど疑似科学をより洗練された学術的な言語でパッケージ化し、より説得力を持たせてリスクを高めます。これは、より高性能なモデルが誤情報をよりうまく見分けられるという期待とは逆の結果です。この論文は実験の立案から論文執筆までの全連鎖をカバーしており、自律型エージェントが完全で説得力のある偽の研究を生成できることを示しています。

著者の推奨事項は何か？

ICML 2026の文脈で発表されたこの研究（26ページ）の結論は、自律型研究エージェントを大規模展開する前に「科学的アライメント」が不可欠だというものです。AIシステムが実際の科学的ワークフローに参入するにつれて——同日にGoogle AMIEとOpenAIのAI化学者がこれを示したように——疑似科学を拒否する能力は単に望ましい特性ではなく、安全上の前提条件となります。