AgentGym2: Neuer Benchmark testet LLM-Agenten unter de-idealisierten Bedingungen

Messen bisherige Tests für LLM-Agenten die tatsächliche Fähigkeit — oder nur die Fähigkeit, Laborhindernisse zu überwinden? Eine Forschungsgruppe unter der Leitung von Zhiheng Xi und 24 Co-Autoren hat AgentGym2 veröffentlicht, ein Evaluierungs-Framework, das genau diese Frage stellt und eine konkrete Antwort liefert: Bisherige Benchmarks verwenden zu vereinfachte, idealisierte Aufstellungen, wodurch die tatsächliche Schwierigkeit für Agenten in Produktionsumgebungen dramatisch unterschätzt wird. Das Paper wurde als Hauptkonferenzbeitrag auf ACL 2026 angenommen.

Jeder Standard-Benchmark gibt Agenten vorgefertigte Tools, saubere und vollständige Eingabedaten sowie eindeutig definierte Aufgaben. Das sind Bedingungen, die in realen Systemen fast nie existieren. Beim Produktionseinsatz trifft ein Agent regelmäßig auf unbekannte Tools, die er selbst entdecken muss, verrauschte Eingaben, die nicht alle nötigen Informationen liefern, und mehrstufige Aufgaben, bei denen ein Fehler in einer Phase alle nachfolgenden kaskadierend zum Scheitern bringt. AgentGym2 entstand genau zu dem Zweck, diese Realität in die Evaluierung einzubringen.

Vier Dimensionen, die Labor von der realen Welt trennen

AgentGym2 führt ein strukturiertes Framework auf Basis von vier Evaluierungsdimensionen ein, jede auf einen Aspekt ausgerichtet, den bisherige Tests systematisch umgangen haben:

End-to-End-Prozedurvollzug misst die Fähigkeit des Agenten, einen vollständigen Workflow ohne externe Eingriffe durchzuführen. Ein Fehler in einer frühen Phase überträgt sich kaskadierend auf alle nachfolgenden Schritte — was die Fragilität echter automatisierter Pipelines widerspiegelt.

Tool-Discovery durch Umgebungserkundung erfordert, dass der Agent selbst identifiziert, welche Optionen ihm zur Verfügung stehen, anstatt eine fertige Liste mit Anweisungen zu erhalten. Dies simuliert Bedingungen, in denen ein Agent eine unbekannte Umgebung ohne vorheriges Handbuch betritt.

Tool-Komposition für unbekannte Aufgaben testet die Fähigkeit, mehrere Tools auf eine Weise zu kombinieren, die im Training nicht gesehen wurde. Generalisierung — nicht das Erinnern fertiger Lösungen — ist das, was wirklich gemessen wird.

Robustheit gegenüber Rauschen und unvollständigen Informationen bringt absichtlich schlecht formatierte Eingaben, Widersprüche und unvollständigen Kontext ein. In realen Umgebungen formulieren Nutzer und Systeme selten perfekt strukturierte Anfragen, und Agenten müssen trotzdem funktionsfähig bleiben.

Was offenbaren die Ergebnisse beim Testen von 15 Modellen?

Die Autoren evaluierten auf dem AgentGym2-Benchmark 15 Modelle, einschließlich führender proprietärer Systeme — GPT-5 und Gemini — sowie eine Reihe von Open-Source-Alternativen. Das Fazit ist eindeutig: Alle haben erhebliche Schwierigkeiten. Keines der getesteten Modelle erreichte ein Leistungsniveau, das für autonomen Produktionseinsatz ohne intensive Aufsicht und Überprüfung akzeptabel wäre.

Was besonders die Aufmerksamkeit auf sich zieht, ist das Ausmaß der Differenz zu den Ergebnissen, die dieselben Modelle auf idealisierten Benchmarks erzielen. Der Leistungsabfall ist nicht marginal und nicht nur unerwartet — die Autoren beschreiben diese Kluft als dramatisch, als klaren Beweis dafür, dass bisherige Ranglisten etwas grundlegend anderes gemessen haben als das, was Agenten in realen Systemen tun sollten. Ein hoher Score auf Standard-Tests impliziert nicht länger Produktionstauglichkeit.

AgentGym2 setzt einen neuen Referenzstandard für die Forschungsgemeinschaft

Die Annahme des Papers auf ACL 2026 — einer der renommiertesten jährlichen Konferenzen für natürliche Sprachverarbeitung — bestätigt, dass die Forschungsgemeinschaft die Ernsthaftigkeit des Problems anerkennt. Bisherige Benchmarks bestehen fort, weil sie praktisch sind: leicht automatisierbar, schnell evaluierbar und zwischen Modellen vergleichbar. Wenn sie aber Leichtigkeit statt Realität messen, leiten sie die Forschung langfristig in die falsche Richtung.

AgentGym2 bietet eine Alternative auf Basis de-idealisierter Szenarien, die den Bedingungen, mit denen Agenten in Unternehmen, automatisierten Workflows und Nutzeranwendungen konfrontiert werden, näher kommen. Die vier Evaluierungsdimensionen decken zusammen Aspekte ab, die bisher regelmäßig fehlten: Entdeckung, Komposition, Robustheit und vollständige Aufgabenausführung.

Für Entwicklungsteams, die Agentensysteme für die Produktion bauen, ist die Botschaft klar: Ein hoher Score auf alten Tests ist keine Garantie dafür, dass der Agent dort funktioniert, wo die echte Arbeit wartet.