arXiv:2606.18543：CEO-Bench——AIエージェントは長期にわたってスタートアップを経営できるか？

新ベンチマークがAIエージェントのビジネス成熟度を測定

エージェント型ベンチマークとは、AIモデルが長い意思決定のステップを通じて自律的に行動する能力を測定するテストです。これは一度限りの回答を評価する従来のテストとは異なります。arXiv:2606.18543で発表されたCEO-Benchはさらに踏み込んでいます。価格設定、マーケティングキャンペーン、予算配分を含む500日間のスタートアップ経営をシミュレートします。これはAIシステムの長期的なビジネス推論能力を体系的に検証する初期のベンチマークの一つです。

100万ドルを超えたのは2モデルのみ——しかし利益は達成されず

結果は明確かつやや冷静にさせるものです。テスト対象のすべてのモデルの中で、Claude Opus 4.8とGPT-5.5だけが初期資本100万ドルを超えることができました——他のモデルはその閾値にも達しませんでした。しかし、この2つのリーディングモデルでさえ、シミュレーション期間全体を通じて一貫した利益を達成できませんでした。Opus 4.8とGPT-5.5と市場の残りとの差は、複雑なビジネスシナリオにおける先進モデルと平均的なモデルの間のギャップを示しています。

エージェントが顧客コホートをシミュレートしてキャッシュフローを予測

この研究の最も興味深い発見の一つは、最強のエージェントが開発した戦略です。受動的な意思決定の代わりに、将来のキャッシュフローを予測するために顧客コホート（行動によってセグメント化されたユーザーグループ）をシミュレートするコードを記述しました。このアプローチはコンサルティング会社のアナリストが使用する高度な財務モデルに似ていますが、AIエージェントはシミュレーション内でこれを自律的かつリアルタイムに実行します。

ビジネスシナリオがAI評価の新フロンティアに

CEO-Benchは長期的なビジネス推論をAIコミュニティの次の大きな課題として位置づけています。MMLUやMATHなどの実験室ベンチマークが静的な知識を測定する一方で、CEO-Benchは時間を通じた適応——エージェントが過去の結果に基づいて戦略を修正する能力——を強調します。結果は、最も高度なモデルでさえその種の戦略的一貫性をまだ発展させ始めたばかりであることを示唆しています。