arXiv: ASSAY-Framework setzt mit selektivem Skill-Masking neuen Rekord für LLM-Agenten

Eine Forschergruppe der University of North Carolina at Chapel Hill — Yixuan Wang, Yiyang Zhou, Yiming Liang, Congyu Zhang, Fuxiao Liu, Jiawei Zhou und Huaxiu Yao — hat eine Arbeit veröffentlicht, die ein grundlegendes Problem lernender LLM-Agenten identifiziert: Agenten haben keinen prinzipiellen Weg, nützliche von schädlichen Skills in ihrer Bibliothek zu unterscheiden. Das Problem ist nicht nur theoretisch — ein Agent, der aus Erfahrung lernt, aber keine Selektion durchführen kann, kann mit der Zeit eine Bibliothek aufbauen, in der schlechte Ressourcen die guten neutralisieren. Die Arbeit stellt ASSAY (Attributed Skill curation for Agent Systems) vor, ein Framework, das dieses Problem durch empirische kausale Attribution ohne jegliche Modifikation der Modellgewichte löst.

Kausale Heterogenität: derselbe Skill, entgegengesetzte Effekte

Moderne LLM-Agenten können Skills (Fähigkeiten) aus Erfahrung in Form von Natürlichsprachbeschreibungen akkumulieren und für die bessere Lösung zukünftiger Aufgaben nutzen. Das von den Autoren identifizierte Problem heißt kausale Heterogenität: Einzelne Skills helfen bei bestimmten Aufgabentypen routinemäßig, schaden aber gleichzeitig bei anderen. Wenn diese entgegengesetzten Effekte auf Bibliotheksebene aggregiert werden, heben sie sich gegenseitig auf — weshalb globale Korrektionsmethoden, die den Durchschnittseffekt eines Skills betrachten, das Problem nicht erkennen können. Der Agent nutzt weiterhin alle Skills unterschiedslos und weiß nicht, dass einer davon in einem bestimmten Kontext nicht neutral, sondern aktiv schädlich ist.

Warum der globale Ansatz zur Bibliothekskorrektur nicht funktioniert

Bisherige Ansätze zur Korrektur von Skill-Bibliotheken stützten sich hauptsächlich auf die Eigenbeurteilung durch das LLM — das Modell beurteilte selbst, welche Skills nützlich sind. Die Autoren argumentieren, dass dies für die Korrekturaufgabe konzeptuell falsch ist: Skill-Generierung aus Erfahrung ist ein kreativer Akt, in dem LLMs gut sind, aber die Entscheidung, ob ein Skill wirklich nützlich ist, erfordert empirische Evidenz aus einer Reihe von Aufgaben. Ein Modell kann seine eigenen blinden Flecken nicht selbst beurteilen. Die Vermischung dieser beiden Aufgaben in derselben LLM-Beurteilung lässt das System ohne objektive Metrik und ohne Mechanismus zur Erkennung kontextueller Schädlichkeit.

Wie trennt ASSAY Kreativität von Empirie?

ASSAY teilt die Korrektur in zwei separate Phasen auf. In der ersten Phase bleibt die Skill-Generierung eine kreative Aufgabe, die der Agent standardmäßig durchführt — aus Erfahrung und Interaktionen. In der zweiten Phase misst ASSAY den kausalen Beitrag jedes Skills durch randomisiertes Masking auf einem kleinen Entwicklungsset: Pro Aufgabe wird ein Skill zufällig ausgeblendet und der Effekt auf das Ergebnis gemessen. Aus diesen Messungen erstellt das System ein Per-Skill-Attributionsbild — für welchen Aufgabentyp der Skill hilft, für welchen er schadet. Auf Basis dieses Bilds unterdrückt ASSAY dynamisch Skills mit vorhergesagt negativem Effekt für jeden konkreten Testauftrag zum Zeitpunkt der Inferenz. Keine Gewichtsanpassung, kein globales Löschen von Skills — ausschließlich kontextuelles Filtern bei der Ausführung.

Neuer Rekord auf AppWorld und tau-bench

Die Experimente umfassen 7 Basismodelle von 4 Anbietern und 2 Benchmarks — AppWorld und tau-bench. Im schwierigsten Teil des AppWorld-Benchmarks erreicht DeepSeek-V3 mit ASSAY eine Zielerfüllungsrate von 69,3 % — eine relative Verbesserung von 47,4 % gegenüber der Baseline und neuer State of the Art, der auch Methoden mit Gewichtsanpassung übertrifft. Im tau-bench-Retail-Segment erzielt GPT-4.1 mit ASSAY eine relative Verbesserung von 8,7 % und übertrifft o4-mini, o1 und GPT-4.5 auf der öffentlichen Bestenliste — ohne jegliches Weight-Tuning. Die Ergebnisse sind konsistent über alle getesteten Modelle und beide Benchmarks, was darauf hindeutet, dass der Befund kein Artefakt eines spezifischen Modells ist.

Per-Task-Masking: der entscheidende Verbesserungsfaktor

Ablationen lokalisieren die Quelle der Verbesserung präzise. Das globale Entfernen von Skills mit negativem Durchschnittseffekt bringt einen geringeren Gewinn als Per-Task-Masking. Der entscheidende Unterschied liegt in der Granularität des Kontexts: Derselbe Skill, der für den Durchschnittsauftrag schlecht ist, kann für einen spezifischen Aufgabentyp nützlich sein — und umgekehrt. Per-Task-Masking unterscheidet das; ein globaler Ansatz kann es nicht. Die Autoren schlussfolgern, dass der Engpass für lernende Agenten die Abstimmung von Skills auf den Aufgabentyp zum Zeitpunkt der Inferenz ist — nicht die globale Bereinigung der Bibliothek. Diese Unterscheidung ist praktisch wichtig: Sie impliziert, dass ein System, das weiß, welche Aufgabe es löst, dynamisch die richtige Teilmenge des Wissens wählen kann, statt die gesamte angesammelte Bibliothek ungefiltert zu übertragen. Der Code ist auf GitHub öffentlich verfügbar.