DiffusionGemma: 28,6×-Interpretierbarkeitslücke auf 1,1× reduziert

DiffusionGemma ist Googles Diffusions-Sprachmodell, das im kontinuierlichen latenten Raum operiert. Eine Studie von 13 Autoren unter der Leitung von Neel Nanda zeigt, dass die anfängliche Undurchsichtigkeit 28,6× größer ist als bei Gemma 4, ein interpretierbarer Token-Bottleneck diese Differenz jedoch auf nur 1,1× reduziert.

DiffusionGemma: ein Diffusions-Sprachmodell, das ebenso überwachbar ist wie Gemma 4

Ein Forschungsteam aus 13 Autoren unter der Leitung von Joshua Engels, Callum McDougall, Bilal Chughtai und Neel Nanda veröffentlichte am 18. Juni 2026 eine Arbeit, die erstmals systematisch die Interpretierbarkeit von Diffusions-Sprachmodellen untersucht. Im Mittelpunkt steht DiffusionGemma — Googles Modell, das Text durch einen Diffusionsprozess im kontinuierlichen latenten Raum generiert und keinen autoregressiven Token-für-Token-Ansatz verfolgt.

Erster Befund: Undurchsichtigkeit 28,6-fach höher als bei Gemma 4

Ohne jegliche Anpassungen erreicht DiffusionGemma eine „opake serielle Tiefe”, die 28,6× höher ist als bei Gemma 4 — dem autoregressiven Äquivalentmodell gleicher Größe. Dieses Ergebnis legt nahe, dass Diffusionsmodelle Überwachung und Interpretierbarkeit grundlegend erschweren, was ein ernstes Problem für Sicherheit und Alignment darstellen würde.

Lösung: Interpretierbarer Token-Bottleneck reduziert die Lücke auf 1,1×

Der zentrale Beitrag der Arbeit ist die Technik des „interpretierbaren Token-Bottlenecks” — die Abbildung der internen Repräsentationen des Modells auf einen für Forschende lesbaren Raum. Nach Anwendung dieser Technik sinkt der Unterschied zwischen DiffusionGemma und Gemma 4 von 28,6× auf nur noch 1,1×, was beide Modelle in Bezug auf Überwachbarkeit praktisch gleichstellt.

Drei neue diffusionsspezifische Phänomene

Die Arbeit identifiziert Erscheinungen, die ausschließlich bei Diffusions-Sprachmodellen auftreten:

Nicht-chronologisches Schlussfolgern — das Modell schlussfolgert nicht sequenziell von links nach rechts
Token- und Sequenz-Smearing — Informationen „verwischen” sich gleichzeitig über mehrere Positionen
Intermediate-Context-Reasoning — das Modell nutzt Zwischenschicht-Kontext auf eine Weise, die in autoregressiven Architekturen keine Entsprechung hat

Fazit: Diffusions-Sprachmodelle können gleichermaßen überwachbar sein

Die Autoren kommen zu dem Schluss, dass Diffusions-Sprachmodelle ebenso überwachbar sein können wie autoregressive Modelle — dafür sind jedoch maßgeschneiderte Interpretierbarkeits-Werkzeuge erforderlich, keine direkte Anwendung der für GPT-artige Modelle entwickelten Methoden. Die Arbeit ebnet den Weg zu Sicherheits-Audits von Diffusions-Sprachmodellen, die in Produktionsumgebungen immer häufiger eingesetzt werden.

Häufig gestellte Fragen

Was ist DiffusionGemma und wie unterscheidet es sich von Standard-Sprachmodellen?

DiffusionGemma ist Googles Sprachmodell, das Text durch einen Diffusionsprozess im kontinuierlichen latenten Raum generiert, anstatt den klassischen autoregressiven Token-für-Token-Ansatz zu verwenden, den GPT oder Gemma 4 nutzen.

Wie groß ist der Interpretierbarkeitsunterschied zwischen DiffusionGemma und Gemma 4?

Ohne Anpassungen weist DiffusionGemma eine 28,6× höhere „opake serielle Tiefe” als Gemma 4 auf. Durch die Einführung eines interpretierbaren Token-Bottlenecks schrumpft die Lücke jedoch auf nur 1,1×, was beide Modelle praktisch gleichstellt.

Welche diffusionsspezifischen Phänomene wurden in der Studie entdeckt?

Die Studie identifiziert drei neue Phänomene: nicht-chronologisches Schlussfolgern, Token- und Sequenz-Smearing sowie Intermediate-Context-Reasoning — Erscheinungen, die für Diffusionsmodelle charakteristisch und in autoregressiven Architekturen nicht vorhanden sind.

arXiv:2606.20560: DiffusionGemma ebenso interpretierbar wie Gemma 4 — 28,6×-Lücke auf 1,1× reduziert