arXiv:2606.17930: ベンチマーク結果はプロトコルに依存する——推論計算量がフロンティアモデルのランキングを変える

新しいプレプリントはベンチマーク結果が測定プロトコルに大きく依存すると警告しており、フロンティアモデルの一般的なランキングに疑問を投げかけています。

著者は何をテストしましたか？

この論文は、ソフトウェア、数学、医療、サイバーセキュリティ分野の 7つの高難易度ベンチマークで 12のフロンティアモデルをテストしています。重要な変数は推論計算量——モデルがタスクを解く際に消費できる計算量、つまりトークン予算です。標準的な評価はこの予算を固定しますが、論文はそれこそが決定的な要因であることを示しています。

より大きな予算で何が変わりますか？

より大きなトークン予算はFrontierMath、Humanity’s Last Exam、TerminalBench、サイバーセキュリティテストで結果を大幅に改善します。さらに重要なのは、モデルのランキングがその予算によって異なることです——小さな予算で最高のモデルが大きな予算でも最高とは限りません。そのため固定予算評価は真の能力を系統的に過小評価します。

モデル評価においてなぜ重要なのですか？

著者は、モデルの能力を推論時計算量の関数として報告することを推奨しており、単一の数値では不十分だとしています。この知見はセキュリティおよびポリシー評価にも関連しています。計算予算を制御しないモデル評価は、信頼性が低く誤解を招くランキングをもたらす可能性があります。