KellyBench: KI-Agenten verwalten Wett-Bankroll durch die Premier-League-Saison — alle führenden Modelle verloren Geld

Was ist KellyBench und wie funktioniert es?

KellyBench ist ein neuer Forschungs-Benchmark, der die Fähigkeit von KI-Agenten testet, langfristige Finanzentscheidungen unter volatilen Bedingungen zu treffen. Agenten simulieren die Rolle eines Wetters durch die gesamte englische Premier-League-Saison 2023/24 — sie erhalten detaillierte historische Statistiken, Mannschaftsaufstellungen und Markt-Wettquoten, und ihre Aufgabe ist es, den Wert einer Bankroll durch Hunderte aufeinanderfolgender Entscheidungen zu maximieren.

Im Gegensatz zu Standard-Benchmarks, die die Genauigkeit einzelner Antworten messen, testet KellyBench sequenzielle Entscheidungsfindung — jeder Fehler im Risikomanagement hat kumulative finanzielle Konsequenzen.

Was zeigten die Ergebnisse?

Die Ergebnisse sind eindeutig: Alle getesteten führenden Modelle verloren im Durchschnitt Geld. Keines erreichte eine Nullrendite, und selbst das stärkste Modell endete mit einer durchschnittlichen Rendite von -8 %. Mehrere Modelle erlebten in einzelnen Versuchen einen vollständigen finanziellen Ruin — sie verloren die gesamte Bankroll.

Claude Opus 4.6 erzielte 26,5 % auf einer separaten Experten-Rubrik, die Strategiesophistikation bewertet — dies ist eine eigenständige Messgröße, die nichts über den Gewinn aussagt, sondern darüber, wie weit sich der Ansatz des Agenten von naivem Wetten unterscheidet.

Warum ist das für die Entwicklung von KI-Modellen wichtig?

Sportwetten geht nicht nur ums Vorhersagen von Gewinnern — es erfordert ein Verständnis der Wahrscheinlichkeitstheorie, das Management von Risiken durch Verlustserien und die Anpassung der Strategie an sich ändernde Marktbedingungen. KellyBench zeigt, dass aktuelle Sprachmodelle, unabhängig von ihren allgemeinen Fähigkeiten, erhebliche Schwächen im langfristigen finanziellen Urteilvermögen haben — eine Fähigkeit, die auch für viele reale Geschäftsanwendungen entscheidend ist.