vLLM: vime — neues RL-Framework, das Megatron-Training und vLLM-Inferenz in einer Pipeline vereint

Das Team hinter dem Projekt vLLM (schnelles Framework für LLM-Inferenz) veröffentlichte am 9. Juni 2026 ein neues Framework für das Post-Training von Sprachmodellen namens vime. Der vollständige Name verrät den Zweck: Integration von Megatron Distributed Training und vLLM-Inferenz in eine einheitliche Pipeline für Verstärkungslernen (reinforcement learning, RL). vime ist auf dem slime-Training-Stack aufgebaut und darauf ausgelegt, die Lücke zwischen zwei gängigen Teilen der Deep-Learning-Infrastruktur zu überbrücken — Distributed Training und Distributed Inferenz —, die bisher hauptsächlich separat eingesetzt wurden.

Architektur: drei koordinierte Stufen

vime verwendet eine Architektur mit drei separaten, aber eng koordinierten Stufen:

1. Training (Megatron): Megatron-LM verwaltet Parameteraktualisierungen und Gewichtssynchronisation auf einer großen Anzahl von GPUs. Es ist für die tatsächlichen Gradientenschritte verantwortlich, die das Modell verbessern.

2. Rollout (vLLM + Router): vLLM, bekannt für hohen Durchsatz bei LLM-Inferenz, generiert Samples (Rollouts) — Token-Sequenzen, die das Modell als Antworten oder Lösungen auf gegebene Probleme produziert. Der Router koordiniert die Verteilung des Datenverkehrs zwischen der Inferenzschicht und dem Rest des Systems.

3. Entkoppelter Datenpuffer: Eine Zwischenschicht, die Training- und Rollout-Phase verbindet, das Einschleusen benutzerdefinierter Logik (Belohnungsfilter, benutzerdefinierte Nachrichtenformate) ermöglicht und Geschwindigkeitsunterschiede zwischen beiden Stufen überbrückt.

Dieses Design baut auf dem slime-Training-Stack auf, was Kompatibilität mit bereits entwickelten Implementierungen von GRPO (Group Relative Policy Optimization) und PPO (Proximal Policy Optimization) Algorithmen für Qwen3- und GLM-4.5-Modelle gewährleistet.

Wie viel schneller ist vime als bisherige Lösungen?

Ein Benchmark-Vergleich am Modell Qwen3-30B-A3B (MoE-Architektur, mixture-of-experts) zeigt einen deutlichen Unterschied zwischen NVIDIA GB200 und H200 Hardware, gemessen als durchschnittliche Zeit pro Schritt (mean step time) in der vollständigen RL-Pipeline:

• GB200: ~147 Sekunden pro Schritt
• H200: ~252 Sekunden pro Schritt
• Unterschied: GB200 ist 1,72× schneller end-to-end

Wichtig zu betonen: Diese Ergebnisse messen die gesamte Pipeline — Megatron Training und vLLM Rollout kombiniert — und nicht nur isolierte Inferenz- oder Trainingsmessungen. Solche holistischen Benchmarks sind relevant für Praktiker, die RL-Post-Training auf konkreter Hardware planen.

R3-Routing-Replay: Adressierung des Training-Inferenz-Verteilungsdrifts

Eine der zentralen technischen Herausforderungen im RL-Post-Training ist der Verteilungsdrift (distribution drift) zwischen dem Rollout-Modell, das Samples generiert, und dem Modell, das auf diesen Samples trainiert wird. Wenn das Training voranschreitet, ändert sich das Modell, aber Rollout-Daten können von einer älteren Version generiert worden sein — was zu einer Diskrepanz führt, die als Differenz in Log-Wahrscheinlichkeiten (logprob difference) für dieselben Token gemessen wird.

vime führt R3-Routing-Replay ein, das sich speziell mit diesem Problem bei MoE-Architekturen (Mixture-of-Experts) befasst. Ergebnisse für Qwen3-30B-A3B MoE auf A100-GPUs:

• Ohne R3-Replay: Log-Wahrscheinlichkeits-Differenz ~0,019
• Mit R3-Replay: Log-Wahrscheinlichkeits-Differenz ~0,013

Zum Vergleich: Bei Qwen3-4B (dichtem Modell) auf A100 bleibt die Log-Wahrscheinlichkeits-Differenz während des Trainings stabil bei ~0,011, während der Basisvergleich ohne Drift-Management ~0,77 erreicht — was in der Praxis die Stabilität des RL-Prozesses ernsthaft gefährden würde.

Ergebnisse mit GLM-4.5-Air auf GB200

Ein Beispiel einer end-to-end Pipeline wird auch für das GLM-4.5-Air-Modell gezeigt, das mit dem GRPO-Algorithmus auf GB200-Hardware trainiert wurde. Wichtige Kennzahlen über 100 Trainingsschritte:

• Mittlere rohe Belohnung (raw reward mean): ~0,56
• Log-Wahrscheinlichkeits-Differenz Training-Rollout: bleibt im Bereich 0,02–0,03 (Mittelwert ~0,028)

Die Stabilität der Verteilungsdiskrepanz zeigt, dass vime Training- und Rollout-Modell ausreichend synchron hält für zuverlässiges RL-Lernen, selbst auf der neuesten GB200-Hardware, die andere Durchsatzeigenschaften als A100 und H200 aufweist.

Vorteile für die Forschungsgemeinschaft

vime wurde von Anfang an als einfaches, stabiles und effizientes Framework konzipiert — wie der Titel der offiziellen Ankündigung lautet. Konkret:

• Unterstützt GRPO und PPO-Algorithmen mit validierten end-to-end Beispielen für Qwen3 und GLM-4.5
• Läuft auf mehreren Hardware-Typen: A100, H200 und GB200
• Ist besonders für MoE-Modelle dank R3-Replay-Mechanismus optimiert
• Baut auf dem vLLM-Ökosystem auf, das in der Community bereits weit verbreitet ist

Für Forscher und Ingenieure, die RL-Post-Training implementieren möchten, ohne Infrastrukturcode von Grund auf zu schreiben, bietet vime eine Referenzarchitektur mit verifizierten Leistungsdaten auf konkreter Hardware und klaren Zahlen, die die Kapazitäts- und Kostenplanung erleichtern.