TRIAGE: Wie man den richtigen Token in agentischem Reinforcement Learning Verdienst zuweist

Jedes Mal, wenn ein KI-Agent eine Aufgabe löst, erzeugt er eine Trajektorie — eine Abfolge von Aktionen, Tool-Aufrufen und Zwischenergebnissen. Standard-Reinforcement-Learning-Algorithmen wie GRPO behandeln diese Abfolge einheitlich: Wenn das Ergebnis erfolgreich ist, erhalten alle Token einen positiven Vorteil; wenn nicht, erhalten alle einen negativen. Das Problem ist, dass diese Annahme nicht stimmt.

Warum einheitlicher Vorteil schlechte Anreize schafft

Stellen Sie sich einen Agenten vor, der dreimal eine Sackgasse erkundet, beim vierten Versuch aber erfolgreich ist. GRPO belohnt alle vier Sequenzen gleich, einschließlich der drei nützlichen Erkundungen, die zur Lösung beigetragen haben — aber auch viel Ballast-Code, der nichts beiträgt. In einem fehlgeschlagenen Run hingegen wird auch die Explorationssequenz bestraft, die auf dem richtigen Weg war.

TRIAGE (Role-Typed Credit Assignment for Agentic RL), eine am 30. Juni 2026 auf arXiv (2606.32017) veröffentlichte Arbeit, führt eine semantische Achse neben dem bestehenden Ergebnissignal ein.

Vier Rollen, vier Verdienststufen

Ein LLM-Richter mit fester Struktur evaluiert jedes Trajektoriensegment und weist ihm eine von vier Rollen zu:

1. Entscheidender Fortschritt — Aktionen, die den Agenten direkt auf das Ziel zubewegen. Sie werden proportional zu ihrem Beitrag belohnt.

2. Nützliche Exploration — Aktionen, die nicht direkt zum Erfolg führen, aber Sackgassen eliminieren oder für den weiteren Verlauf relevante Informationen sammeln. In Standard-GRPO in fehlgeschlagenen Runs bestraft; in TRIAGE als positiver Beitrag anerkannt.

3. Infrastruktur ohne Fortschritt — notwendige, aber neutrale Aktionen: Initialisierung, Parsing, Ausgabeformatierung. Weder belohnt noch bestraft, jenseits des proportionalen Anteils am Ergebnis.

4. Regression — Aktionen, die den Agenten weiter vom Ziel entfernen, früheren Fortschritt rückgängig machen oder Fehler einführen. Bestraft selbst wenn das Endergebnis erfolgreich ist.

Die Zuweisung rollenbedingter Belohnungen erfolgt nach festen Regeln — sie ist kein Produkt von Ad-hoc-Heuristiken. Die Autoren beweisen, dass eine solche Zuweisung eine optimale Korrektur auf Segmentebene darstellt, die aus den Rollen ausdrückbar ist und als Projektion des Vorteilsresiduals pro Segment auf die Rollenvariable definiert ist.

Ergebnisse auf drei Benchmarks

TRIAGE wurde auf ALFWorld (Navigation und Manipulation in einer textbasierten Haushaltsumgebung), Search-QA (Antwortsuche durch Web-Suche) und WebShop (Einkaufen in einer simulierten E-Commerce-Oberfläche) getestet.

Der zentrale Befund: Bei abgeschlossenen Rollouts reduziert TRIAGE die Anzahl der Umgebungsaktionen um 10,4 % bis 14,8 % im Vergleich zu GRPO, bei gleichzeitig erhöhten Erfolgsraten. Der Agent mit demselben Modell löst Aufgaben in weniger Schritten — was in der Praxis niedrigeren Kosten und kürzeren Antwortzeiten entspricht.

Was sagt die Ablationsstudie?

Die Autoren isolierten den Beitrag jeder der vier Rollen. Regressionserkennung innerhalb erfolgreicher Trajektorien erwies sich als der dominierende Verbesserungsfaktor. Das ist ein kontraintuitiver Befund: Das Wichtigste ist nicht, gute Exploration zu belohnen, sondern schlechte Aktionen zu bestrafen, selbst wenn das Ergebnis positiv ist.

Die Anerkennung nützlicher Exploration brachte konsistente, aber sekundäre Verbesserungen — besonders ausgeprägt in Umgebungen wie WebShop, wo das Sammeln von Produktinformationen für die richtige Entscheidung entscheidend ist.

Positionierung in der Literatur

TRIAGE ändert weder das Zielmodell noch führt es teures zusätzliches Training ein — der LLM-Richter kann ein kleineres, spezialisiertes Modell sein. Das Ergebnissignal (Erfolg/Misserfolg der Episode) bleibt der primäre Optimierer; TRIAGE fügt eine Prozessschicht hinzu, die dieses Signal innerhalb der Trajektorie gemäß dem semantischen Beitrag des Segments umverteilt.

Für Praktiker, die mit Agenten arbeiten, die mehrstufige Aufgaben in teuren Umgebungen ausführen — Web, Code, Datenbanken — übersetzt sich eine Aktionsreduktion von mehr als 10 Prozent direkt in operative Einsparungen. Die Arbeit ist ab heute auf arXiv verfügbar.