arXiv:2605.27358: MobileMoE, 밀집 모델 대비 FLOP 2-4배 감소·최대 3.8배 빠른 실행으로 모바일 기기에 Mixture-of-Experts 아키텍처 구현

Yanbei Chen, Hanxian Huang, Ernie Chang, Jacob Szwejbka, Digant Desai, Zechun Liu, Vikas Chandra, Raghuraman Krishnamoorthi로 구성된 연구팀은 MobileMoE를 발표했다. 이는 모바일 기기에 특화적으로 최적화된 10억 파라미터 이하 규모에서 Mixture-of-Experts(MoE) 아키텍처에 대한 최초의 체계적인 연구다.

MoE 아키텍처는 왜 지금까지 모바일 기기에서 사용할 수 없었는가?

Mixture-of-Experts(MoE)는 전체 네트워크 대신 각 레이어에서 특수화된 “전문가(expert)” 네트워크의 일부만 활성화하는 아키텍처 접근 방식이다. 이 선택적 활성화는 큰 계산 절감을 가져오지만, 기존 MoE 모델은 주로 풍부한 메모리와 강력한 GPU를 갖춘 데이터센터를 위해 설계되었다.

모바일 기기에는 엄격한 메모리 및 계산 능력 제약이 있다. 연구는 10억 이하 파라미터 규모(활성 파라미터 0.3-0.9B, 총 파라미터 1.3-5.3B)에서 MoE를 탐구하고, 이론적인 FLOP 추정만이 아닌 실제 모바일 하드웨어에서의 추론 속도 프로파일링을 통해 이 공백을 채운다.

MobileMoE 모델의 구체적인 결과는 무엇인가?

MobileMoE 계열은 동일한 크기의 밀집(dense) 기준선 모델과 비교하여 인상적인 지표를 달성한다.

추론 효율성: MobileMoE 모델은 성능을 유지하면서 추론 FLOP 2-4배 감소를 달성한다. 모바일 하드웨어에서 MobileMoE-S 모델은 프리필 1.8-3.8배 빠름과 디코딩 2.2-3.4배 빠름을 달성한다.

파라미터 효율성: MobileMoE는 비슷한 최신 MoE 대안들과 총 파라미터 최대 60% 감소로 비슷한 결과를 달성한다.

모바일 기기를 위한 최적의 MoE 설계는 무엇인가?

연구의 핵심 기여는 모바일 구현을 위한 최적의 아키텍처 패턴을 식별하는 온디바이스 스케일링 법칙(scaling law) 도출이다. 공유 전문가(shared experts)를 포함한 세밀한 전문가(fine-grained experts)와 적절한 희소성(moderate sparsity). 이 설계는 모바일 기기의 메모리와 계산 제약을 동시에 균형 있게 처리한다.

MobileMoE 모델 훈련은 네 단계를 거친다. 사전 훈련, 중간 훈련, 지시 파인튜닝, 오픈소스 데이터셋을 사용한 양자화 인식 훈련(quantization-aware training)이 그것이다. 이 포괄적인 파이프라인은 모델이 정확도뿐만 아니라 양자화된 모바일 하드웨어에서의 효율적인 실행을 위해서도 최적화되도록 보장한다.

결과는 클라우드로 데이터를 보내지 않고 스마트폰에서 직접 복잡한 언어 작업을 수행하는 프라이빗하고 오프라인 AI 어시스턴트의 전망을 열어준다.