arXiv:2605.27358: MobileMoE donosi Mixture-of-Experts arhitekturu na mobitele uz 2-4× manje FLOP-ova i do 3,8× brže izvođenje od gustih modela

Istraživački tim u sastavu Yanbei Chen, Hanxian Huang, Ernie Chang, Jacob Szwejbka, Digant Desai, Zechun Liu, Vikas Chandra i Raghuraman Krishnamoorthi predstavio je MobileMoE — prvu sustavnu istragu Mixture-of-Experts (MoE) arhitektura na razini ispod milijarde parametara, specifično optimiziranih za mobilne uređaje.

Zašto MoE arhitektura do sada nije bila dostupna na mobilnim uređajima?

Mixture-of-Experts (MoE) je arhitekturalni pristup koji u svakom sloju aktivira samo podskup specijaliziranih “stručnjaka” (ekspertnih mreža) umjesto cijele mreže. Ova selektivna aktivacija donosi veliku računalnu uštedu, no dosadašnji MoE modeli dizajnirani su uglavnom za podatkovne centre s obilnom memorijom i moćnim GPU-ovima.

Mobilni uređaji imaju stroga ograničenja memorije i računalne snage. Istraživanje ispunjava prazninu istražujući MoE na sub-milijardinoj razini parametara (0,3-0,9B aktivnih parametara, 1,3-5,3B ukupnih) uz stvarno profiliranje inference brzine na mobilnom hardveru — za razliku od samo teorijskih procjena FLOP-ova.

Koji su konkretni rezultati MobileMoE modela?

MobileMoE obitelj dostiže impresivne metrike u usporedbi s gustim (dense) baseline modelima iste veličine:

Inference efikasnost: MobileMoE modeli postižu 2-4× manje inference FLOP-ova uz zadržanu izvedbu. Na mobilnoj opremi, model MobileMoE-S postiže 1,8-3,8× brže prefill i 2,2-3,4× brže dekodiranje.

Parametarska efikasnost: MobileMoE postiže usporedive rezultate s state-of-the-art MoE alternativama uz do 60% manje ukupnih parametara.

Koji je optimalni dizajn MoE-a za mobilne uređaje?

Ključan doprinos istraživanja je izvođenje on-device zakona skaliranja (scaling law) koji identificira optimalan arhitekturalni obrazac za mobilnu implementaciju: umjerena rijetkoća (moderate sparsity) s fine-grained i dijeljenim stručnjacima (shared experts). Ovaj dizajn simultano balancira memorijska i računalna ograničenja mobilnih uređaja.

Trening MobileMoE modela prolazi kroz četiri faze: pre-training, mid-training, instruction fine-tuning i kvantizacijski-svjesno treniranje (quantization-aware training) koristeći open-source skupove podataka. Ovaj sveobuhvatan pipeline osigurava da modeli budu optimizirani ne samo za preciznost, već i za efikasno izvođenje na kvantiziranom mobilnom hardveru.

Rezultati otvaraju perspektivu privatan i offline AI asistenti koji izvršavaju zahtjevne jezikovne zadatke izravno na pametnom telefonu, bez slanja podataka u oblak.