arXiv:2605.31584: LongTraceRL lernt Long-Context-Reasoning aus Spuren von Such-Agenten

Die Arbeit arXiv:2605.31584 stellt LongTraceRL vor, eine Methode des Reinforcement Learning (RL), die die Herausforderung des Long-Context-Reasoning angeht — Situationen, in denen große Sprachmodelle Schwierigkeiten haben, Schlüsselinformationen inmitten einer großen Menge ablenkender Inhalte zu finden und zu verknüpfen.

Was ist Long-Context-Reasoning?

Long-Context-Reasoning bedeutet, dass das Modell auf Grundlage einer sehr langen Eingabe zu einem Schluss kommen muss, etwa mehrerer Dokumente auf einmal. Das Problem ist, dass relevante Daten oft unter zahlreichen unwichtigen Abschnitten “verdünnt” werden. LongTraceRL nutzt RL mit überprüfbaren Belohnungen (RLVR) und geht damit über Ansätze hinaus, die durch schwache Distraktoren und spärliche Rückmeldesignale begrenzt sind.

Wie entstehen die Trainingsdaten?

Die Daten werden aus Spuren von Such-Agenten (Trajektorien) mit zwei Ebenen von Distraktoren aufgebaut. Die erste bilden Dokumente, die der Agent geöffnet, aber nicht zitiert hat — sie sind stark verwirrend, weil sie relevant erschienen. Die zweite bilden Dokumente, die in den Suchergebnissen auftauchten, die der Agent aber nie öffnete, was sie wenig verwechselbar macht. Ein solch gestaffelter Ansatz übertrifft zufällige Stichproben oder die Konstruktion aus einer einzigen Suche.

Was sind Rubric Rewards?

Rubric Rewards (Belohnungen nach Kriterien) nutzen Gold-Entitäten entlang jeder Argumentationskette als feinkörnige Prozessüberwachung auf Entitätsebene. Das ermöglicht die Steuerung von Zwischenschritten und nicht nur die Prüfung der endgültigen Antwort. Das System wendet eine Strategie ausschließlich positiver Belohnungen an: Die Qualität der Argumentation wird nur bei korrekten Antworten belohnt, wodurch “Reward Hacking” verhindert wird.

Wie sind die Ergebnisse?

Die Tests umfassen fünf Long-Context-Benchmarks und Modelle mit einer Größe von 4 bis 30 Milliarden Parametern. LongTraceRL zeigt konsistente Verbesserungen gegenüber starken Basismethoden und fördert gründliches, evidenzbasiertes Schlussfolgern. Die Materialien sind im GitHub-Repository der Autoren verfügbar.