arXiv:2606.17005: ベイズ監査フレームワークがAIリーダーボードに非互換な歴史が隠れていることを示す

新しいプレプリントは評価リーダーボードへのベイズ監査フレームワークを提示し、公開AIモデルのリーダーボードが進歩について互いに矛盾するストーリーを隠している可能性があると警告しています。

この論文はどんな問題を明らかにしますか？

著者は、1,000システムを含む最終リーダーボードスナップショット1つが複数の非互換な歴史的軌跡と互換性があることを示しています。言い換えれば、同じ現在の順位が非常に異なる開発軌跡から生じ得る——あるシナリオでは収束時間がわずか23ステップ、別のシナリオでは75ステップです。これにより、リーダーボードの最後の状態だけから進歩の速度について結論を導くことへの疑問が提起されます。

分析はどんなデータに基づいていますか？

この論文は5つの著名な評価ソースのアーカイブデータに依拠しています：LiveBench、Open LLM Leaderboard v2、LMArena、GAIA、tau-bench。これらに基づいて著者は、進歩の認識を歪める可能性のある選択的報告とベンチマークの事後修正のリスクを明らかにしています。

著者は何を提案しますか？

提案された解決策はarchive-and-adjudicationプロトコル——リーダーボードの状態を体系的にアーカイブし、後から裁定することでスコアリング履歴を再構築しフロンティアモデルに関する根拠のない主張を棄却するものです。この提案はEU AI法のサードパーティによる透明性とフロンティアモデル監査の要件と直接関連しています。