Direct-OPD: Wie ein schwächeres Modell ein stärkeres ohne teures RL trainieren kann

Das Training von Sprachmodellen mit Reinforcement Learning auf verifizierbaren Belohnungen — der sogenannte RLVR-Ansatz — hat einige der beeindruckendsten Verbesserungen in den Reasoning-Fähigkeiten moderner KI-Modelle hervorgebracht. Doch dieser Ansatz hat einen praktischen Preis: Jedes neue, stärkere Modell benötigt seine eigene teure RL-Kampagne, bei der es Tausende von Rollouts generieren muss, während es aus Belohnungen lernt. Mit wachsender Modellgröße wird das Post-Training selbst zum Skalierungs-Engpass.

Forscher der Tsinghua University und Zhipu AI schlagen in einem am 6. Juli 2026 veröffentlichten Paper eine elegante Lösung dieses Problems vor — die Methode Direct On-Policy Distillation (Direct-OPD).

Warum ist RL für jedes neue Modell teuer?

Die bisherige Antwort auf dieses Problem war ein Ansatz namens „Weak-to-Strong”-Destillation: Trainieren Sie RL auf einem kleineren, kostengünstigeren Modell und verwenden Sie dieses Modell dann als Lehrer für ein stärkeres Zielmodell. Doch die naive Implementierung dieses Ansatzes funktioniert nicht gut. Die endgültige Policy des schwächeren RL-trainierten Modells vermischt nützliche RL-Gewinne mit inhärenten Einschränkungen des kleineren Modells. Wenn das stärkere Modell eine solche Policy imitiert, übernimmt es die Einschränkungen zusammen mit den Gewinnen.

Das Problem ist konzeptuell: Direkte Destillation der endgültigen Policy überträgt nicht, was RL wirklich gelernt hat — sie überträgt auch alles, was das stärkere Modell bereits besser weiß als das schwächere. Statt eines sauberen RL-Signals erhält das stärkere Modell ein Paket, das auch die Schwächen des Kleineren enthält.

Direct-OPD: Verschiebung übertragen, nicht Policy

Die methodisch präzise Schlüsselerkenntnis hinter Direct-OPD lautet: Statt zu imitieren, was das schwächere Modell sagt, extrahiert Direct-OPD was RL im schwächeren Modell verändert hat.

Die Methode vergleicht den Post-RL-Checkpoint des schwächeren Modells mit seinem Pre-RL-Referenz-Checkpoint. Das logarithmische Verhältnis (Log-Ratio) dieser beiden Distributionen zeigt, welche Aktionen RL wahrscheinlicher und welche weniger wahrscheinlich gemacht hat — ohne dass dieses Signal mit den inhärenten Schwächen des kleineren Modells vermischt wird. Dieses Log-Ratio wird dann als dichte implizite Belohnung für den stärkeren Schüler verwendet, der Rollouts an seinen eigenen On-Policy-Zuständen generiert.

Das Ergebnis ist eine Methodik, die RL-Supervisionssignale direkt über Skalen-Ebenen überträgt, ohne ein explizites Belohnungsmodell zu trainieren und ohne sparse-reward RL auf dem großen Zielmodell auszuführen. Die Rechenkosten fallen beim schwächeren Modell an, das Signal nutzt dem stärkeren.

Ergebnisse: +14,1 Prozentpunkte auf einem Elite-Benchmark

Die empirischen Ergebnisse sind eindeutig. Auf dem AIME-2024-Benchmark — einem Satz mathematischer Wettbewerbsaufgaben, der als Standardmaßstab für das Reasoning der stärksten Modelle gilt — verbesserte Direct-OPD Qwen3-1.7B von 48,3 % auf 62,4 %, ein Sprung von 14,1 Prozentpunkten.

Dieses Ergebnis wurde in nur 4 Stunden Training auf 8 A100-GPUs erzielt — eine Dauer, die die praktische Durchführbarkeit des Ansatzes außerhalb des Laborkontexts zeigt. Darüber hinaus übertrifft Direct-OPD direktes RL auf dem stärkeren Modell mit derselben Anzahl von Schritten (step-matched direct RL): Bei gleichem eingesetzten Compute erzielt es bessere Ergebnisse.

Die Methode zeigt eine weitere wertvolle Eigenschaft: Sie ermöglicht das sequenzielle Schichten mehrerer RL-Verbesserungen. Verschiebungen aus mehreren verschiedenen RL-Experimenten können sukzessiv angewendet werden — wie modulare Schichten, die sich kombinieren, ohne sich gegenseitig zu zerstören. Das eröffnet die Möglichkeit, komplexere Verbesserungsketten aufzubauen, die Ergebnisse mehrerer spezialisierter RL-Kampagnen nutzen.

Implikationen für Superalignment und skalierbare Überwachung

Die Direct-OPD-Forschung berührt eines der grundlegenden offenen Probleme der KI-Sicherheit: Superalignment, also skalierbare Überwachung. Die Frage lautet, wie KI-Modelle überwacht werden können, die fähiger sind als ihre Supervisoren.

Direct-OPD liefert einen konkreten Beitrag: Es zeigt, dass RL-Gewinne skalierungsübergreifend nach oben übertragen werden können, ohne das Wesentliche zu verlieren. Ein schwächeres Modell, das RL-Training durchlaufen hat, kann als Kalibrator für ein stärkeres fungieren, ohne seine eigenen Schwächen zu übertragen. Die Autoren formulieren diese Lehre explizit — RL-Outcomes können als implizite Belohnungssignale zwischen Modell-Skalen-Ebenen genutzt werden, nicht nur als endgültige Modelle zur Imitation.

Das eröffnet Forschungsrichtungen, die das Schichten aufeinanderfolgender RL-Verbesserungen aus verschiedenen Domänen und den Aufbau von Überwachungshierarchien umfassen — Systemen, in denen jede Ebene von der schwächeren Ebene lernt, aber deren inhärente Einschränkungen überwindet.

Das Paper ist auf arXiv verfügbar (2607.05394), und die Projektseite auf bytedtsinghua-sia.github.io/Direct-OPD/ kündigt die öffentliche Veröffentlichung von Code und Checkpoints an.