Google Photos Auto Frame koristi 3D modele i difuziju za proširenje kadra

Google Research predstavio je Auto Frame — novu značajku u aplikaciji Google Photos koja automatski nudi alternativne kompozicije postojećih fotografija. Iza jednostavnog gumba krije se kombinacija procjene 3D scene i generativnih modela.

Kako Auto Frame pretvara 2D fotografiju u 3D scenu?

Prvi korak pipelinea je geometrijska rekonstrukcija. ML modeli analiziraju 2D fotografiju i iz nje procjenjuju dubinu, prostornu strukturu i parametre kamere — kut, žarišnu duljinu i položaj u sceni. Ovaj proces koristi 3D point mapping kako bi za svaki piksel odredio njegovu prostornu poziciju.

Rezultat je unutarnji 3D model scene koji sustavu omogućuje razmišljanje o kadru kao o virtualnom prostoru, a ne samo mreži piksela. Takva reprezentacija ključna je za korak koji slijedi: mijenjanje kuta, zumiranja ili pomicanje kadra izvan originalnih granica.

Bez 3D razumijevanja, svako proširivanje kadra bilo bi plošno i neuvjerljivo na prijelazima između originalnog i generiranog sadržaja.

Kako se generira sadržaj izvan originalnog kadra?

Kada je scena rekonstruirana u 3D, sustav mora popuniti dijelove kadra koji nikada nisu bili snimljeni. Za to Google koristi latentne difuzijske modele — generativnu tehnologiju koja uči distribuciju vizualnog svijeta iz velikih skupova slika i može sintetizirati vjerodostojan sadržaj na temelju konteksta.

Difuzijski model ne samo da puni prazninu, nego mora poštovati perspektivu, osvjetljenje i stil originalne fotografije kako prijelaz ne bi bio vidljiv. Upravo zato je ključna kombinacija 3D point mappinga (za geometrijsku konzistentnost) i difuzije (za foto-realističan sadržaj).

Originalni piksli ostaju netaknuti; sustav samo dopunjuje rubove ili otkriva područja izvan prvotnog kadra.

Što ovo znači za korisnike Google Photosa?

Korisnici dobivaju alternativne kompozicije iste fotografije bez potrebe za ručnom intervencijom u Photoshopu ili sličnom alatu. Jedna snimka može rezultirati više varijanti — širi kadar, drugačiji položaj glavnog motiva, promijenjen aspekt.

Praktično, značajka je korisna kada je originalni kadar preblizu subjektu ili kada korisnik želi prilagoditi sliku za drugi format (primjerice iz 4:3 u 16:9). Auto Frame je dostupan unutar aplikacije Google Photos kao dio postojećeg uređivačkog sučelja.