DiffusionGemma in vLLM: erstes diskretes Diffusionsmodell mit 26 Milliarden Parametern in Produktionsumgebung integriert

Die Teams des vLLM-Projekts, Google DeepMind und NVIDIA haben heute die Integration von DiffusionGemma in vLLM bekannt gegeben — womit dieses Framework für Produktions-Inferenz das erste nativ unterstützte diskrete Diffusions-Sprachmodell (dLLM, engl. discrete diffusion language model) erhalten hat. Das Modell hat 26 Milliarden Parameter und ist auf der Gemma4-Architektur aufgebaut.

Warum ist diffusionsbasierte Textgenerierung anders?

Klassische große Sprachmodelle (LLM, engl. large language model) generieren Text autogressiv — Token für Token, von links nach rechts. DiffusionGemma arbeitet völlig anders: Es beginnt mit einem Canvas von 256 rauschgefüllten Token und verfeinert dieses iterativ über mehrere Schritte, bis kohärenter Text entsteht. Dieser Ansatz eröffnet Möglichkeiten, die die Autoregression strukturell nicht zulässt, etwa die Überarbeitung früherer Antwortteile in späteren Denoising-Schritten.

Die Architektur ist zweimodal ausgelegt. Im Encoder-Modus verwendet das Modell kausale (unidirektionale) Aufmerksamkeit zur Verarbeitung des Eingabe-Prompts — identisch zu klassischen Transformern. Im Decoder-Modus, der beim iterativen Denoising verwendet wird, wechselt es zu bidirektionaler Aufmerksamkeit mit gleitenden Fenstern (±W Token), was dem Modell ermöglicht, jeden Token auf dem Canvas in beide Richtungen zu betrachten und das Gesamtbild abzugleichen.

Mechanismus zur Entscheidung über fertige Token

DiffusionGemma verwendet entropiebasiertes Sampling (engl. entropy-based sampling). In jedem Denoising-Schritt berechnet das Modell die Zuverlässigkeit jedes Tokens und akzeptiert sie in der Reihenfolge vom zuverlässigsten zum am wenigsten zuverlässigen — bis die kumulierte Entropie einen vordefinierten Schwellenwert überschreitet. Auf diese Weise werden die sichersten Token früh „eingefroren”, während unsicherere mehr Aufmerksamkeitsiterationen erhalten.

Zwischen den Iterationen empfängt das Modell auch ein Self-Conditioning-Signal: Die vollständige Softmax-Verteilung aus dem vorherigen Schritt wird in einen durchschnittlichen Einbettungsvektor (engl. probability-weighted embedding average) umgewandelt und dem Modell als zusätzliche Eingabe übergeben. Dies stabilisiert die Konvergenz und reduziert Schwankungen in späteren Schritten.

Integration in die vLLM-Infrastruktur

Anstatt vollständig neuen Code zu schreiben, hat das Team die bestehende Infrastruktur für spekulatives Dekodieren (engl. speculative decoding) innerhalb von vLLM angepasst. Zwei zentrale Neuerungen:

• ModelState-Abstraktion — generalisiert den Modellzustand für nicht-autoregressive Architekturen; die konkrete Implementierung DiffusionGemmaModelState verfolgt den Zustand der Diffusionsschleife pro Anfrage.
• DiffusionSampler — ein Sampling-Handler, der drei Phasen unterscheidet: Prefill (Füllen der Eingabe), Denoise (iterative Verfeinerung) und Commit (Finalisierung der Token).

Die Unterstützung für dynamische kausale Aufmerksamkeit pro Sequenz ermöglicht gemischte Batches — im selben Batch können Anfragen im Encoder- und Decoder-Modus ohne Konflikte verarbeitet werden.

Gemessene Leistung

Die FP8-quantisierte Version von DiffusionGemma erreicht 1.288 Token pro Sekunde auf einer NVIDIA H200 GPU bei einer Batch-Größe von 1, was etwa sechsmal schneller ist als autoregressive Vergleichsmodelle. Auf der H100 wurden 1.008 Token pro Sekunde gemessen — rund fünfmal schneller als Autoregression und 2,6-mal schneller als einzelne Varianten der Vergleichsmodelle.

Zwei Quantisierungs-Checkpoints sind verfügbar:

• FP8 mit dynamischen Aktivierungen
• NVFP4 mit quantisierten Gewichten und Aktivierungen

Beide sind im RedHatAI Hub veröffentlicht und sofort zur Verwendung innerhalb von vLLM verfügbar.

Was das für das Ökosystem bedeutet

Die Integration von DiffusionGemma zeigt, dass vLLM nicht auf klassische autoregressive Modelle beschränkt ist. Durch die Generalisierung der Infrastruktur für spekulatives Dekodieren öffnet das Projekt die Tür für zukünftige Diffusionsmodelle, ohne eigene Inferenz-Stacks schreiben zu müssen. An dem Projekt haben 11 Mitwirkende aus Google DeepMind, dem vLLM-Team und NVIDIA mitgearbeitet — was auf ernsthafte langfristige Unterstützung für diese Modellklasse hindeutet.