arXiv:2607.18084: WorldCupArena testet Sprachmodelle bei der Vorhersage von Fußball-WM-Ergebnissen

Wie testet WorldCupArena die Vorhersagen von Sprachmodellen?

Zhaokai Wang und Kollegen stellen im Paper „WorldCupArena: Fine-Grained Evaluation of Language Models and Deep-Research Agents on Football Forecasting” (arXiv:2607.18084) WorldCupArena vor, einen dynamischen Benchmark — einen Testrahmen, dessen Aufgabenmenge sich parallel zu einem realen, laufenden Ereignis aktualisiert, statt ab dem Zeitpunkt der Veröffentlichung fix zu bleiben. Als Aufgabenquelle dienen Spiele der FIFA-Weltmeisterschaft 2026, getestet werden sowohl klassische Sprachmodelle als auch Deep-Research-Agenten, KI-Systeme, die vor einer Antwort selbstständig zusätzliche Datenquellen wie Spielerstatistiken oder frühere Ergebnisse durchsuchen.

Drei Vorhersageebenen: Ausgang, Ergebnis, Aufstellung

Die Modelle im Benchmark liefern Vorhersagen auf drei Detailebenen: den grundlegenden Spielausgang (Sieg, Niederlage oder Unentschieden), das exakte Endergebnis sowie die vorhergesagte Spieleraufstellung jeder Mannschaft. Die Autoren zeigen, dass Modelle mit ähnlicher Genauigkeit auf der Ebene des grundlegenden Ausgangs erheblich voneinander abweichen können, wenn sie auf den feineren Ebenen — exaktes Ergebnis und Aufstellung — verglichen werden, was darauf hindeutet, dass die grobe Ausgangsmetrik reale Unterschiede in der Vorhersagequalität verbirgt.

Das beste System gegenüber Buchmacher- und menschlichen Baselines

Das beste getestete System erzielt nur bescheidene Verbesserungen gegenüber Buchmacher- und menschlichen Baselines, wenn ausschließlich das exakte Spielergebnis verglichen wird. Der Unterschied wird deutlicher bei der spezialisierten Bewertungsmetrik, die die Autoren für eine feinere Beurteilung der Vorhersagequalität einführen, wo das beste System einen deutlicheren Vorsprung erzielt als beim gröberen Vergleich des exakten Ergebnisses.