Apple na ICLR 2026 predstavlja ParaRNN: paralelno treniranje nelinearnih RNN-ova uz 665× ubrzanje

Apple je na konferenciji ICLR 2026, koja se ovog tjedna održava u Rio de Janeiru, predstavio pet istraživačkih radova iz područja strojnog učenja. Najistaknutiji među njima je ParaRNN, metoda koja preispituje mjesto rekurentnih neuronskih mreža u eri transformera.

Zašto je ParaRNN značajan?

Rekurentne neuronske mreže (RNN) godinama su bile potisnute u drugi plan jer se nisu mogle paralelno trenirati — svako vremenski korak ovisi o prethodnom. ParaRNN rješava taj problem čak i za nelinearne RNN-ove, koji su ekspresivniji ali još teži za paralelizaciju.

Apple izvještava o 665× ubrzanju u odnosu na sekvencijalni pristup. Taj broj je značajan jer omogućuje skaliranje RNN-ova na milijarde parametara — razinu na kojoj postaju kompetitivni s transformerima u praktičnoj primjeni, a zadržavaju tradicionalne RNN prednosti poput linearne memorijske složenosti.

Za Apple, koji modele treba pokretati na uređajima s ograničenim resursima poput iPhonea, to je strateški važno. RNN-ovi s linearnom memorijom mogu obraditi duge kontekste bez kvadratnog rasta koji muči transformere.

Koji su ostali Appleovi radovi na ICLR 2026?

Uz ParaRNN, Apple je predstavio još četiri rada. State Space Models s tool use pokazuju kako se SSM arhitekture mogu kombinirati s alatima za bolju generalizaciju na duljinu konteksta — važno za zadatke gdje model mora raditi s tekstovima duljim od onih iz treninga.

MANZANO je unificirani multimodalni model koji obrađuje tekst i slike kroz jedinstvenu arhitekturu, bez odvojenih encoding slojeva za različite modalitete.

Treći rad opisuje sintezu 3D scene iz jedne fotografije u vremenu kraćem od jedne sekunde — značajno za AR aplikacije i generiranje 3D sadržaja. Četvrti je SimpleFold, model za predikciju proteinske strukture koji funkcionira bez specijalističkih arhitektura kakve koristi AlphaFold.

Što ovo govori o Appleovoj istraživačkoj strategiji?

Pet prihvaćenih radova na jednoj od najprestižnijih ML konferencija pokazuje da Apple i dalje investira u temeljno istraživanje, a ne samo u produktnu primjenu postojećih modela. Fokus na efikasnost — paralelizaciju, linearnu memoriju, brze 3D sinteze — konzistentan je s Appleovom potrebom da modele pokreće na potrošačkom hardveru umjesto isključivo u oblaku.

Iako Apple nije najavio konkretne proizvodne integracije ovih istraživanja, arhitekture poput ParaRNN-a i SSM-a s tool useom logični su kandidati za buduće verzije Apple Intelligence sustava.