arXiv:2606.20008: VIMPO — Kritiker-freies Reinforcement Learning übertrifft GRPO bei MATH-500 und AIME

Was ist VIMPO und warum ist es wichtig?

VIMPO (Value-Implicit Policy Optimization) ist eine Reinforcement-Learning-Methode (RL) zum Training von LLM-Modellen für Reasoning-Aufgaben. Sie wurde von Forschenden der UC Berkeley (Zhewei Kang, Aosong Feng, Sergey Levine, Dawn Song, Xuandong Zhao) entwickelt und am 19. Juni 2026 veröffentlicht.

Das Ausgangsproblem: Die populäre Methode GRPO leidet unter schwachem Credit-Assignment — sie erkennt nicht gut, welcher Schritt in der Reasoning-Kette zur richtigen Antwort beigetragen hat. Die Standardlösung besteht darin, ein separates Kritiker-Netzwerk hinzuzufügen, was jedoch das Training verkompliziert und die Kosten erhöht.

Funktionsweise: Die implizite Wertfunktion

VIMPO trainiert kein Kritiker-Netzwerk. Stattdessen leitet es mathematisch eine Wertfunktion aus den Optimalitätsbedingungen des KL-regularisierten RL ab — eine Funktion, die implizit in der Policy des Modells selbst enthalten ist. Damit erhält man ein Credit-Assignment-Signal ohne zusätzliche Komponente.

Das Ergebnis ist eine Methode, die die praktische Einfachheit des kritiker-freien Trainings (ähnlich wie GRPO) beibehält, aber dessen grundlegenden Mangel behebt.

Ergebnisse: Konsistent besser als GRPO

VIMPO übertrifft GRPO auf allen vier getesteten Benchmarks:

• MATH-500 — Standard-Mathematik-Benchmark
• AIME 2024 und AIME 2025 — anspruchsvolle Wettbewerbsmathematik
• OlympiadBench — Olympiade-Aufgaben

Die Verbesserungen sind konsistent und bleiben auch bei verrauschten Belohnungssignalen stabil — eine wichtige Eigenschaft in realen Anwendungen, bei denen die automatische Bewertung unvollkommen ist.

Bedeutung für die Entwicklung von Reasoning-Modellen

VIMPO bietet einen praktischen Weg zu besserem RL-Training für Reasoning-Modelle ohne die architektonische Komplexität von Zwei-Netzwerk-Systemen. Die Methode ist besonders relevant für Forschungsgruppen mit begrenzten Rechenressourcen, da sie den Bedarf an parallelem Training einer Kritiker-Komponente eliminiert.