ArXiv：AAAI-26が22,977本の論文にAIレビューを実施——査読者が人間よりも高く評価

AAAI-26で何が起きたのか？

AAAI-26（人工知能促進学会）——人工知能に関する世界最重要の学会の一つ——は前例のない実験を行いました。メインセクションの22,977本の投稿論文すべてが、標準的な人間による査読に加えてAI生成のレビューを受け取りました。AIレビューは明確にラベル付けされており、査読者と著者がそれが機械から来たものだとわかるようになっていました。

システムはツール統合とセーフガードを備えた高度な言語モデル（LLM）を使用しており、すべてのレビューは1日以内に生成されました——通常数週間かかる人間のプロセスよりも劇的に速いです。

驚くべき結果：AIが人間を超えた

プログラム委員会メンバーと論文著者を対象とした調査によると、AIレビューは二つの主要カテゴリで人間のレビューより高い評価を受けました。技術的正確さと研究上の提案の質です。

これはAIレビューが完璧であるとか、人間の査読者に代わることができるという意味ではありません。この実験は補完として設計されており、置き換えではありません——各論文は引き続き標準的な人間のレビュープロセスを経ています。しかし、参加者がAIのフィードバックを平均的な人間のレビューよりも有用だと感じたという事実は、学術出版の未来について重要な問いを開きます。

研究者たちはまた、このシステムが科学的な弱点の特定において基本的なLLMアプローチを大幅に上回ることを示す新しい評価ベンチマークも開発しました——これはツールを備えた専門化されたアプローチが、単純に論文を言語モデルに送るよりも良い結果をもたらすことを示しています。

なぜこれが学術コミュニティにとって重要なのか？

学術出版は深刻な問題に直面しています。学会への投稿数は指数関数的に増加しているのに、適格な査読者の数はそのペースに追いついていません。結果として、表面的なレビュー、長い待ち時間、一貫性のない基準が生じています。

AIレビューが問題を完全に解決するわけではありませんが、著者が人間のレビューを待つ間に素早い技術的フィードバックを提供する最初のフィルターとして機能することができます。プログラム委員会にとって、AIは論文の明らかな問題——数学的エラーから欠けている参照まで——を特定し、人間の査読者をより深い分析タスクに集中させることができます。

論文著者のJoydeep Biswas、Sheila Schoepp、Gautham Vasanは「最先端のAI手法は今や学会規模での科学的レビューに大きく貢献できる」と結論づけ、研究評価における人間とAIの協力改善に向けた将来の研究の方向性を示しました。