RA-RFT: neue Methode des analogen Reinforcement Learning verbessert mathematisches Schlussfolgern um 7,1 Punkte

Ein Forscherteam hat auf arXiv einen neuen Ansatz zur Feinabstimmung von Sprachmodellen namens RA-RFT (Retrieval-Augmented Reinforcement Fine-Tuning) vorgestellt, der mathematisches Schlussfolgern durch die Kombination von analogem Lernen und verstärktem Training mit Rückmeldung verbessert.

Die zentrale Innovation liegt nicht nur darin, was getan wird, sondern darin, was ausgewählt wird: Anstatt standardmäßig semantisch ähnliche Beispiele abzurufen, lernt RA-RFT, nach Beispielen zu suchen, die für das Schlussfolgern nützlich sind — und genau das ist der Unterschied, der zählt.

Das Grundproblem: semantische Ähnlichkeit ≠ Nützlichkeit für die Lösung

Sprachmodelle, die sich auf das Abrufen von Beispielen stützen (Retrieval-Augmented Generation, RAG), durchsuchen die Wissensbasis typischerweise nach semantischer Nähe: „Welches Beispiel ähnelt diesem Problem?”

Doch die Autoren von RA-RFT gehen mit einer kritischen Beobachtung weiter: Semantisch ähnliche Probleme können völlig unterschiedliche Lösungsstrategien erfordern, während scheinbar unverbundene Probleme manchmal dasselbe grundlegende Schlussfolgermuster teilen.

Beispiel: Zwei mathematische Aufgaben können identische Notation und Terminologie verwenden, aber mit völlig unterschiedlichen Methoden lösbar sein. Umgekehrt können eine Aufgabe aus der Kombinatorik und eine aus der Graphentheorie denselben logischen Sprung teilen, den das Modell lernen muss. Die klassische Suche wählt das falsche Beispiel.

Wie löst RA-RFT dieses Problem?

Der Rahmen besteht aus zwei Schlüsselkomponenten:

Die erste ist die Destillation goldener Relevanz (Gold-Relevance Distillation). Es wird ein separates Abrufmodell trainiert, das nicht semantische Nähe misst, sondern den vorhergesagten Nutzen für das Schlussfolgern — wie sehr das ausgewählte Beispiel dem Modell bei der Lösung der Aufgabe tatsächlich helfen wird. Dieser Retriever lernt aus Daten darüber, welche Beispiele zu korrekten Lösungen führen, nicht nur welche ähnlich aussehen.

Die zweite Komponente ist das Reinforcement Fine-Tuning auf Basis des Algorithmus GRPO (Group Relative Policy Optimization). Das Modell (Policy) wird mit den abgerufenen analogen Beispielen als Gerüst trainiert — es soll sie nicht kopieren, sondern als Wegweiser nutzen, der alternative Lösungsstrategien illustriert. Die erlernten Fähigkeiten werden durch überprüfbare Ergebnisse verifiziert, wie die Korrektheit einer mathematischen Lösung.

RA-RFT als neue Skalierungsachse

Die Autoren betonen besonders eine Behauptung: Die Verbesserung, die RA-RFT bringt, ist orthogonal zu bisherigen Skalierungsachsen.

Moderne Reinforcement-Learning-Forschung für Sprachmodelle skaliert hauptsächlich entlang zweier Achsen: besserem Reward-Design und besserem Trainings-Curriculum. RA-RFT führt eine dritte Achse ein — die Qualität und Relevanz der abgerufenen Beispiele als separate Dimension, die unabhängig optimiert und verbessert werden kann.

Das bedeutet, dass RA-RFT mit bestehenden Methoden ohne Konflikte kombiniert werden kann, was es zu einem potenziell attraktiven Tool für Stacks macht, die bereits GRPO oder ähnliche Ansätze verwenden.

Überzeugungskraft der Ergebnisse auf AIME 2025

Auf dem Benchmark AIME 2025 (American Invitational Mathematics Examination), dem Standardtest für die Evaluierung des mathematischen Schlussfolgerns von Sprachmodellen, bringt RA-RFT messbare Gewinne:

• Modell Qwen3-1.7B um 7,1 Punkte verbessert auf der Metrik average@32 im Vergleich zu Standard-GRPO-Training
• Modell Qwen3-4B um 2,8 Punkte mit derselben Methodik verbessert

Die abgerufenen Beispiele steigern nicht nur die Genauigkeit, sondern zeigen komplementäre Lösungsstrategien — das Modell hat mehr Wege zur Lösung zur Verfügung, was die Robustheit erhöht.

Die Bedeutung des analogen Lernens

Analoges Schlussfolgern ist einer der grundlegenden kognitiven Mechanismen beim Menschen. Wenn wir auf ein neues Problem stoßen, suchen wir intuitiv nach einem ähnlichen Problem, das wir bereits gelöst haben, und fragen uns: „Was habe ich damals getan und gilt das hier?”

Für KI-Systeme war dieser Mechanismus bisher auf die oberflächliche Ebene beschränkt — Systeme fanden Probleme, die ähnlich aussehen, aber nicht notwendigerweise Probleme, die helfen.

Möglicher Einfluss auf das Modelltraining

RA-RFT ist ein Post-Training-Rahmen, was bedeutet, dass er nach dem initialen Training des Basismodells angewendet wird. Das macht ihn kompatibel mit bereits bestehenden Modellen ohne aufwändiges Neutraining von Grund auf.

Die Autoren haben mit Modellen der Qwen3-Familie experimentiert, aber die Methodik ist prinzipiell auf jedes Sprachmodell anwendbar, sofern eine geeignete Beispielbasis für den Abruf vorhanden ist.

Das Verbesserungspotenzial beschränkt sich nicht auf Mathematik: Jede Domäne mit klar definierten Lösungsvektoren und ausreichend Beispielen könnte von derselben Logik profitieren. Code, formale Logik und Recht sind naheliegende nächste Schritte.