AgentV-RL bringt tool-augmentierten Verifikator mit Forward- und Backward-Agenten — 4B-Modell übertrifft SOTA-Reward-Modell um 25,2 %

Warum ein neuer Ansatz beim Reward-Modeling?

Reward-Modelle sind die Grundlage des RL-Trainings für LLMs — von RLHF bis hin zu neueren RLVR-Ansätzen. Aber klassische Outcome-Reward-Modelle (ORM) haben eine Einschränkung: Sie bewerten nur die finale Antwort, ohne den Prozess zu verstehen. Process-Reward-Modelle (PRM), die jeden Reasoning-Schritt verfolgen, sind besser, aber teuer im Training und oft zu streng.

Die Autoren Jiazheng Zhang und Kollegen stellen in einem arXiv-Preprint vom 17. April 2026 AgentV-RL vor — einen Verifikator, der wie ein Agent arbeitet: Multi-Turn, Tool-nutzend, deliberierend, bevor er eine Bewertung abgibt.

Wie funktioniert der agentische Verifikator?

AgentV-RL verwendet zwei komplementäre Agenten:

Forward-Agent. Verfolgt das Reasoning von Prämissen zur Schlussfolgerung. Für jeden Schritt prüft er: Folgt das aus den vorherigen Schritten? Ist es gerechtfertigt? Wenn eine Tatsache verwendet wird, ist diese Tatsache gültig? Der Forward-Agent fängt Fehler vom Typ „logischer Sprung” oder „unbegründete Behauptung” ab.

Backward-Agent. Arbeitet in die entgegengesetzte Richtung — von der Schlussfolgerung zu den Prämissen. Er fragt: Sind die Prämissen wirklich notwendig? Ist die Schlussfolgerung wirklich eine Konsequenz, oder war sie vorherbestimmt? Der Backward-Agent fängt Fehler vom Typ „Reverse Engineering” ab — wo das Modell das Ergebnis kennt und eine Rechtfertigung fabriziert.

Die beiden Richtungen sind nicht redundant — sie fangen verschiedene Fehlerklassen ab, die in verschiedenen Problemtypen auftreten.

Die Rolle von Tools und proaktiver Exploration

AgentV-RL besteht nicht nur aus zwei LLMs — der Verifikator hat Zugang zu Tools:

• Code-Executor — zur Überprüfung mathematischer Berechnungen oder Programmierbehauptungen
• Knowledge-Lookup — für Fakten, die in einer externen Wissensdatenbank überprüft werden können
• Symbolic Solver — für logische oder algebraische Schlüsse, bei denen eine deterministische Antwort existiert

Durch RL mit proaktiver Exploration lernt der Verifikator, wann er welches Tool einsetzt — er ruft nicht immer alle Tools auf, sondern wählt auf Basis des Problemtyps. Das ist der entscheidende Unterschied zu passiven PRMs, die nur Text lesen.

Welche Ergebnisse wurden erzielt?

Die beeindruckendste Zahl aus dem Abstract: Das 4B-AgentV-RL-Modell übertrifft SOTA-Outcome-Reward-Modelle um 25,2 %. Das ist ein erheblicher Abstand in einem Feld, in dem Verbesserungen typischerweise in einstelligen Prozentpunkten gemessen werden.

Die Autoren demonstrieren auch Test-Time-Scaling — die Leistung steigt, wenn dem Verifikator mehr Deliberationszeit gewährt wird. Das ist praktisch wichtig, da es bedeutet, dass die Kosten mit der Problemkomplexität skalieren — einfache Fälle werden schnell abgeschlossen, schwierige erhalten mehr Denkzyklen.

Implikationen für das RL-Training

Für Teams, die LLMs über RL trainieren (RLHF, RLVR, DPO-Stil), lautet die Botschaft, dass die Verifikationskomponente agentisch sein kann, nicht nur ein statisches Modell. Das öffnet die Tür zu:

• Besserem Process-Reward-Modeling für Mathematik, Code und Reasoning-Aufgaben
• Tool-augmentierten Trainingssignalen — Signale aus der Code-Ausführung sind deterministisch und reduzieren Rauschen im RL-Loop
• Reduziertem Reward-Hacking — ein agentischer Verifikator mit Forward+Backward-Agenten und Tools ist schwerer zu täuschen als ein einfaches ORM, das nur Text liest

Die Arbeit ist direkt relevant für die aktuelle Welle der RLVR-Forschung (RL mit verifizierbaren Belohnungen), da sie zeigt, dass die Qualität des Verifikators die Trainingsergebnisse drastisch verändert. In Kombination mit der früheren Kritik aus der RLVR-Gaming-Verifiers-Studie (19. April) kann AgentV-RL als Antwort gesehen werden — wie man einen Verifikator baut, der schwerer auszuspielen ist.