Allen Institute: DiScoFormer — jedan transformer za gustoću i score kroz različite distribucije

Allen Institute for AI (AI2) objavio je 29. lipnja 2026. istraživanje DiScoFormer — transformer modela koji objedinjuje procjenu gustoće i gradijenta distribucije u jednom prolazu, bez potrebe za zasebnim modelima.

Jedan model umjesto dva

Dosadašnji pristupi zahtijevali su odvojene modele: jedan za density funkciju (gustoću distribucije — glatku inačicu histograma koja pokazuje gdje se podaci gomilaju) i drugi za score funkciju (gradijent logaritma gustoće, koji pokazuje smjer prema regijama veće vjerojatnosti). DiScoFormer AI2 istraživača objedinjuje oba proračuna u jednom transformer modelu s dijeljenim backbone-om i dva izlazna head-a — i density i score procjenjuju se u jednom forward passu.

Zašto klasični KDE ne skalira na visoke dimenzije?

KDE (kernel density estimation) je klasična statistička metoda koja gustoću procjenjuje iz susjednih podatkovnih točaka, no točnost KDE-a naglo pada s rastom dimenzionalnosti. DiScoFormer, treniran na Gaussian Mixture Models uz matematički konzistentan par density i score funkcija, to nadilazi: u 100 dimenzija postiže 6,5× manju pogrešku u score-u i 37× manju pogrešku u density-u u usporedbi s ručno podešenim KDE-om.

DiScoFormer generalizira bez ponovnog treniranja

Matematička veza između density i score funkcije djeluje kao konzistentnostni uvjet — DiScoFormer se prilagođava out-of-distribution podacima bez retraininga. Za razliku od neural score matching pristupa koji zahtijeva zasebno treniranje za svaku novu distribuciju, Allen Institute modelom postiže trenutnu adaptaciju na neviđene distribucije. Istraživanje je temeljnog karaktera, relevantno za generativne modele i probabilistički ML, a objavljeno je kao ArXiv rad (2511.05924).