arXiv:2607.11598: インタラクションがテスト時計算の「第三軸」——最大74%のエラーを除去

テスト時計算と第三軸が必要な理由

テスト時計算とは、モデルが推論中に消費する追加計算を指します——一度限りの回答ではなく、より長く考えたり、複数の候補を生成したり、外部システムと通信して精度を高めたりします。これまで研究者は2つの標準的な軸を区別していました：長い思考連鎖（Chain-of-Thought、ステップバイステップの推論）とbest-of-Nサンプリング（N個の回答を生成して最良のものを選択）。プレプリントarXiv:2607.11598の著者Bojie LiとNoah Shiはこの2つの軸がプラトーに達すると主張し、第三軸を提案します。

インタラクション軸とは何か、なぜプラトーに達しないのか

インタラクションは第三軸です：モデルが外部ツール（例えばコンパイラ、コード実行エンジン、検索エンジン）と通信し、フィードバックに基づいて出力を反復的に改善します。自己思考やbest-of-Nと異なり、インタラクションはプラトーに達しません。なぜなら各ツールのフィードバックがモデル単独では生成できない新しい信号をもたらすからです。比較は明快です：長い思考やサンプリングはモデル内を循環するのに対し、インタラクションは外部からの現実確認を導入します。

提案者-審査者システムと計測ツール

具体的な実装は提案者-審査者システムです。一方のエージェントが解決策を提案し、もう一方がツールとのインタラクションを通じてそれを批評します。結果：テスト対象のタスクセットで100% pass rate——長い思考連鎖もbest-of-Nも達成できない値です。

著者はまた、4つのモダリティ（テキスト、視覚、コード、数学）で品質を評価する標準化された計測ツールを導入します。このツールはモダリティによって40〜74%の欠陥を除去します。ツールなしVLMとの比較は示唆的です：インタラクション軸のないビジョン言語モデルは意図的に破損した15個の図のうち14個を完璧と評価します——つまりほぼすべての欠陥を見逃します。

モデル開発への示唆

本研究は、単に長い思考連鎖や多くのサンプルによってテスト時計算をスケールすることには自然な上限があることを示唆しています。コンパイラ、テスト、検索エンジンなどのツールとのインタラクションは、その上限を突破する道を示しています。実践者にとって、フィードバックループを持つエージェントシステムのアーキテクチャは単なるエンジニアリングの工夫ではなく、スケーリングの根本的なメカニズムであることを意味しています。