Google Research: kreativnost difuzijskih modela objašnjena kao 'zaglađivanje' score funkcije
Google Research objavljuje matematičko objašnjenje kreativnosti difuzijskih modela: neuronske mreže uče zamagljene, aproksimativne verzije score funkcije zbog regularizacije, što generirane slike smješta u interpolacijske zone između trening-točaka — predvidiv matematički rezultat, ne slučajnost.
Ovaj članak generiran je uz pomoć umjetne inteligencije na temelju primarnih izvora.
Što je difuzijski model i zašto stvara nove slike?
Difuzijski model je generativni model koji stvara podatke postupnim uklanjanjem šuma — polazi od slučajnog šuma i iterativno ga pročišćava vodeći se score funkcijom, gradijentom koji usmjerava proces denoisinga prema vjerojatnim podacima. Istraživač Zhengdao Chen iz Google Researcha objavio je matematičko objašnjenje zašto ti modeli generiraju slike kojih nema u trening skupu.
Regularizacija dovodi do “zaglađivanja”
Ključni mehanizam leži u tome što neuronske mreže ne uče egzaktnu, već aproksimativnu i zamagljenu verziju score funkcije — zbog regularizacije (weight decay) koja sprečava prenaučenost. Taj efekt Chen naziva “score smoothing” (zaglađivanje score funkcije). Umjesto da denoising čestice gravitiraju točno prema memoriranim trening-primjerima, one se nasele u interpolacijskim zonama između trening-točaka duž podatkovnog manifolda. Rezultat su nove, nememorirane generacije — kombinacije obilježja koja model nije vidio zajedno.
Visoke dimenzije: ravnoteža realizma i novine
U visokim dimenzijama, koje su tipične za slike, smoothing djeluje selektivno: usporava kretanje tangentno na manifold (duž njega), a ubrzava kretanje prema njemu (okomito). To znači da model ostaje “realan” jer se drži manifolda podataka, ali zadržava novinu jer ne konvergira u poznate točke. Ta geometrijska ravnoteža između realizma i originalnosti nije programirana eksplicitno — pojavljuje se kao izravna posljedica regularizacije pri treningu.
Kreativnost kao predvidiv matematički rezultat
Chenov zaključak izravno osporava mistifikaciju generativnih modela: kreativnost difuzijskih modela predvidiv je matematički rezultat, a ne slučajna emergentna pojava. Usporedi s klasičnim interpoliranjem u latentnom prostoru GAN modela — tamo je interpolacija eksplicitna, dok difuzijski modeli postiže isti efekt implicitno kroz score smoothing. Ovaj uvid otvara put prema preciznijoj kontroli kreativnosti: mijenjanjem jačine regularizacije moglo bi se modulirati koliko “daleko” od trening podataka model generira.
Česta pitanja
- Što je score smoothing i zašto uzrokuje kreativnost?
- Score smoothing je učinak u kojem neuronske mreže, zbog regularizacije (weight decay), nauče aproksimativnu, zamagljenu verziju score funkcije. Zato generirani uzorci padaju u interpolacijske zone između trening-točaka i daju nove, nememorirane rezultate.
- Kako difuzijski modeli generiraju slike koje nisu u trening skupu?
- Zbog zaglađene score funkcije čestice tijekom denoisinga završe u područjima između trening-primjera umjesto da se sruše na memorirane točke, pa nastaju nove kombinacije značajki.
📬 AI vijesti u tvoj inbox
Dnevni digest po tvojoj mjeri — biraš teme, izvore i ritam. Odjava jednim klikom.