arXiv:2606.17819: Erster systematischer Benchmark mit 500 agentischen Fähigkeiten auf 19 Modellkonfigurationen

Ein neues Preprint stellt den ersten systematischen Benchmark für agentische Fähigkeiten vor, ein Bereich, der trotz der schnellen Einführung von Agenten in der Produktion bisher kaum gemessen wurde.

Was misst der Benchmark?

Der Rahmen bewertet 500 reale Fähigkeiten und generiert 1.000 Aufgaben mit Rubriken, die Anweisungsgehorsam und Zielerreichung separat bewerten. Eine Fähigkeit ist hier ein Paket aus Anweisungen und Tools, das einem Agenten ermöglicht, eine spezifische Aufgabe auszuführen. Die Tests wurden auf 19 Konfigurationen proprietärer und offener Modelle durchgeführt und liefern ein breites Vergleichsbild.

Was ist der Hauptbefund?

Modelle zeigen signifikante Leistungsunterschiede, je nachdem wie präzise die Anweisungen für jede Fähigkeit sind. Mit anderen Worten: Dieselbe Fähigkeit liefert auf verschiedenen Modellen sehr unterschiedliche Ergebnisse, und die Qualität der Anweisungen beeinflusst das Ergebnis entscheidend. Das deutet darauf hin, dass der Erfolg eines Agenten nicht nur von der Modellwahl abhängt, sondern auch von sorgfältigem Fähigkeitsdesign.

Warum ist das wichtig?

Die Autoren veröffentlichten den Evaluierungssatz öffentlich, was wiederholbare Messungen und weitere Forschung ermöglicht. Für Teams, die Agenten einsetzen, ist der Befund praktisch: Modellwahl und Präzision der Fähigkeitsdefinition müssen gemeinsam gemessen werden, da die falsche Kombination die Zuverlässigkeit in der Produktion erheblich reduzieren kann.