arXiv:2606.18543: CEO-Bench — Können KI-Agenten ein Startup langfristig führen?

Neues Benchmark misst Geschäftsreife von KI-Agenten

Ein agentisches Benchmark ist ein Test, der die Fähigkeit eines KI-Modells misst, über eine längere Entscheidungssequenz hinweg autonom zu handeln — im Gegensatz zu klassischen Tests, die Einzelantworten bewerten. CEO-Bench, vorgestellt in der Forschungsarbeit arXiv:2606.18543, geht einen Schritt weiter: Es simuliert 500 Tage der Startup-Führung, einschließlich Preisgestaltung, Marketingkampagnen und Budgetallokation. Es handelt sich um eines der ersten Benchmarks, das das langfristige Geschäftsdenken von KI-Systemen systematisch untersucht.

Nur zwei Modelle überschreiten eine Million Dollar — Gewinn bleibt aus

Die Ergebnisse sind klar und ernüchternd. Von allen getesteten Modellen schaffen es nur Claude Opus 4.8 und GPT-5.5, das Startkapital von einer Million Dollar zu überschreiten — während andere Modelle diese Schwelle nicht erreichen. Selbst diese zwei führenden Modelle erzielen jedoch keinen konsistenten Gewinn über den gesamten Simulationszeitraum. Der Abstand zwischen Opus 4.8 und GPT-5.5 einerseits und dem Rest des Feldes andererseits zeigt, wie groß die Lücke zwischen Spitzen- und Durchschnittsmodellen in komplexen Geschäftsszenarien ist.

Agenten simulieren Kunden zur Cashflow-Prognose

Einer der interessantesten Befunde der Arbeit ist die Strategie der stärksten Agenten: Statt reaktiver Entscheidungen schreiben sie Code, der Kundenkohorten simuliert — nach Verhalten segmentierte Nutzergruppen —, um künftige Cashflows vorherzusagen. Dieser Ansatz ähnelt fortgeschrittenen Finanzmodellen aus der Unternehmensberatung, wird von KI-Agenten jedoch autonom und in Echtzeit innerhalb der Simulation ausgeführt.

Geschäftsszenarien als nächste KI-Evaluierungsgrenze

CEO-Bench positioniert langfristiges Geschäftsdenken als die nächste große Herausforderung für die KI-Gemeinschaft. Während Laborbenchmarks wie MMLU oder MATH statisches Wissen messen, betont CEO-Bench die Anpassung über die Zeit — die Fähigkeit des Agenten, seine Strategie auf Basis früherer Ergebnisse zu korrigieren. Die Befunde legen nahe, dass selbst die fortschrittlichsten Modelle diese Art strategischer Konsistenz erst beginnen zu entwickeln.