arXiv:2606.20560: DiffusionGemma jednako čitljiv kao Gemma 4 — praznina od 28,6× srušena na 1,1×

DiffusionGemma: difuzijski LM koji se može nadzirati jednako kao Gemma 4

Istraživački tim od 13 autora, predvođen Joshuom Engelsom, Callumom McDougallom, Bilalom Chughtaijem i Neelom Nandom, objavio je 18. lipnja 2026. rad koji prvi sustavno ispituje interpretabilnost difuzijskih jezičnih modela. Fokus je na DiffusionGemmi — Googleovom modelu koji generira tekst difuzijskim procesom u kontinuiranom latentnom prostoru, a ne autoregresivnim token-po-token pristupom.

Početni nalaz: neprozirnost 28,6 puta veća od Gemme 4

Bez ikakvih prilagodbi, DiffusionGemma postiže „opaque serial depth” koji je 28,6× viši od Gemme 4 — ekvivalentnog autoregresivnog modela iste veličine. Taj rezultat naizgled sugerira da difuzijski modeli fundamentalno otežavaju nadzor i interpretabilnost, što bi bio ozbiljan problem za sigurnost i poravnanje (alignment).

Rješenje: interpretabilni token bottleneck svodi jaz na 1,1×

Ključni doprinos rada je tehnika „interpretable token bottleneck” — mapiranje unutarnjih reprezentacija modela na prostor čitljiv istraživačima. Nakon primjene ove tehnike razlika između DiffusionGemme i Gemme 4 pada s 28,6× na samo 1,1×, što oba modela praktično izjednačuje u pogledu monitorabilnosti.

Tri nova difuzijsko-specifična fenomena

Rad identificira pojave karakteristične isključivo za difuzijske LM-ove:

• Nekronološko zaključivanje — model ne zaključuje slijedno s lijeva na desno
• Token i sequence smearing — informacije se „razmazuju” po više pozicija istovremeno
• Intermediate-context reasoning — model koristi međuslojni kontekst na načine koji nemaju analogiju u autoregresivnim arhitekturama

Zaključak: difuzijski LM-ovi mogu biti jednako monitorabilni

Autori zaključuju da difuzijski jezični modeli mogu biti jednako monitorabilni kao autoregresivni modeli — ali je za to potreban prilagođen interpretabilni alat, a ne direktna primjena metoda razvijenih za GPT-style modele. Rad otvara put prema sigurnosnom auditu difuzijskih LM-ova koji su sve prisutni u produkcijskim okruženjima.