Marco-MoE: open-source multilingual MoE s 5% aktivnih parametara nadmašuje dense modele 3-14× veće aktivacije

Tim od osam istraživača (Fan Jiang, Yu Zhao, Chenyang Lyu, Tianqi Shi, Yichao Du, Feihu Jiang, Longyue Wang, Weihua Luo) objavio je 28. travnja 2026. preprint Marco-MoE: Open Multilingual Mixture-of-Expert Language Models with Efficient Upcycling. Riječ je o jednom od rijetkih u potpunosti otvorenih MoE modela — uključujući trening dataset, recipe i težine.

Što je sparse MoE?

Mixture-of-Experts (MoE) je arhitektura u kojoj model ima više “eksperata” — paralelnih MLP modula — od kojih router pri svakom tokenu aktivira samo nekolicinu. Marco-MoE ima ekstremno sparse dizajn u kojem se aktivira samo oko 5% ukupnih parametara po ulaznom tokenu, što omogućuje efikasno skaliranje ukupnog kapaciteta bez razmjernog rasta inference troška.

Upcycling kao trening recipe

Umjesto treninga od nule, autori koriste upcycling: postojeći dense modeli konvertiraju se u MoE kopiranjem MLP slojeva u eksperte i dodavanjem router mreže. Nakon toga slijedi 5 trilijuna tokena dodatne pre-train obuke. Dense modeli koji su poslužili kao seed nisu eksplicitno navedeni u abstractu, ali pristup je dokazan učinkovit u prijašnjim radovima (Mixtral, Qwen-MoE).

Marco-MoE-Instruct varijante, dobivene post-trainingom, nadmašuju modele s 3 do 14 puta više aktivnih parametara na engleskim i multilingual benchmarcima. Konkretni parametarski brojevi (npr. 7B aktivnih, 56B ukupno) nisu navedeni u dohvaćenom sažetku.

Što kažu o jezicima?

Najzanimljiviji dio analize: Marco-MoE uči strukturirane obrasce aktivacije eksperata zajedničke za srodne jezike, dok jezično izolirani jezici dobivaju visoko specijalizirane eksperte. Autori dokazuju da to omogućuje skalabilno proširenje jezika bez interferencije tipične za dense modele — što je za multilingual primjenu ozbiljno operativno svojstvo.

Zašto je objava važna?

Kineski timovi (Qwen, DeepSeek, Yi) su 2025-2026 zauzeli vodstvo u open-weight modelima, ali rijetki objavljuju kompletan stack — težine, dataset i recipe. Marco-MoE pripada toj rijetkoj kategoriji punog otvaranja, što istraživačkoj zajednici omogućuje neovisnu replikaciju i izgradnju derivatnih modela.