arXiv:2606.09380: Trace Tournaments lösen das Nullgradienten-Problem beim RLVR-Training von Sprachmodellen

Das Nullgradienten-Problem beim RLVR-Training

Reinforcement Learning with Verifiable Rewards (RLVR) entwickelt sich zur dominanten Methode zur Verbesserung der Schlussfolgerfähigkeiten von Sprachmodellen. Die Methode belohnt Traces in Abhängigkeit von der Korrektheit der Endantwort, und die Vorteilsschätzung wird relativ innerhalb einer Gruppe gleichzeitig generierter Stichproben berechnet.

Das Problem entsteht, wenn die gesamte Gruppe von Traces eine identische Belohnung erhält — alle korrekt oder alle inkorrekt. Der Standard-Group-Relative-Ansatz gibt dann einen Nullgradienten zurück: Das Modell erhält kein nützliches Lernsignal und das Training stagniert. Dieses Phänomen ist besonders ausgeprägt bei leichten Aufgaben (wo alle korrekt sind) und schweren Aufgaben (wo alle inkorrekt sind) — genau dort, wo eine präzise Gradientensteuerung am wichtigsten ist.

Wie lösen Trace Tournaments das tote Signal?

Anstatt gruppenweiser Vergleiche mit gleicher Belohnung organisiert Reasoning Arena Head-to-Head-Turniere zwischen Traces und schätzt die relative Stärke jedes einzelnen mithilfe des Bradley-Terry-Wahrscheinlichkeitsmodells auf einem dynamischen Ankersatz. Han Zhou, Adam X. Yang, Laurence Aitchison, Anna Korhonen und Albert Q. Jiang stellten diesen Ansatz in der Arbeit arXiv:2606.09380 (veröffentlicht am 8. Juni 2026) vor.

Der Hauptvorteil liegt darin, dass ein neuer Trace nicht mit allen anderen verglichen werden muss — kostspielig O(n²) — sondern nur mit einem ausgewählten Anker. Selbst wenn Traces dieselbe Belohnung teilen, werden Unterschiede in der Schlussfolgerqualität durch Turnierergebnisse sichtbar. So werden Stichproben mit null Vorteil in nützliche Gradientenschritte umgewandelt, und die Information über innergruppliche Unterschiede wird nicht erfunden — sie wird aus dem Schlussfolgerungsprozess selbst extrahiert.

Ergebnisse: schneller, günstiger und genauer

Die Evaluierung auf Wettbewerbs-Mathematik- und Programmierbenchmarks zeigt eine Genauigkeitsverbesserung von +7,6 % gegenüber dem Standard-Group-Relative-Ansatz. Außerdem beschleunigt sich das Training um 27 bis 41 Prozent, und der Rechenaufwand für die Stichprobengenerierung reduziert sich um etwa 50 Prozent.

Die Autoren schließen, dass Reasoning Arena nicht nur eine effizientere, sondern auch eine günstigere Alternative zu bestehenden RLVR-Trainingsmethoden ist — besonders wertvoll für Forschungsgruppen mit begrenztem Rechenbudget, die Fortschritte bei Schlussfolgerungsfähigkeiten ohne proportionales Kostenwachstum erzielen möchten.