MiniMax M3, vLLM에 탑재: 백만 토큰 컨텍스트 모델의 Day-0 지원

vLLM 팀은 2026년 6월 12일, 중국 AI 스타트업 MiniMax의 최신 모델인 MiniMax M3에 대한 완전한 Day-0 지원을 발표했습니다. 이 모델은 백만 토큰 컨텍스트, 네이티브 멀티모달리티, Mixture-of-Experts(MoE) 아키텍처를 결합합니다. 이번 발표는 vLLM 내에서 출시 당일 완전한 기능 동등성을 갖춘 장거리 컨텍스트 MoE 모델의 첫 번째 주요 구현을 의미합니다.

백만 토큰 컨텍스트 서빙이 왜 어려운가?

표준 KV 캐시는 컨텍스트 길이에 비례해 선형적으로 증가합니다 — BF16 정밀도의 백만 토큰은 어텐션 중간 상태만 저장하는 데에도 수백 기가바이트의 GPU 메모리가 필요합니다. 전체 KV 캐시를 메모리에 올리는 전통적인 방식은 실제 구성에서 실행 불가능합니다. MiniMax M3는 이 문제를 **MiniMax Sparse Attention(MSA)**을 통해 해결합니다. 이 아키텍처 혁신은 모델이 긴 시퀀스에 접근하는 방식을 근본적으로 재정의합니다.

MSA는 KV 캐시를 128토큰 블록으로 분할합니다. 각 쿼리 — 또는 GQA 쿼리 그룹 — 는 가벼운 인덱서-스코어 커널을 통해 모든 블록을 평가하고, 실제 어텐션 계산을 위해 가장 관련성 높은 블록만 선택합니다. 결과는 메모리 및 연산 부하의 극적인 감소입니다: 모델은 백만 토큰을 완전히 메모리에 구현할 필요 없이 관련 세그먼트에 선택적으로 접근합니다. vLLM 구현은 이 데이터 접근 패턴을 위해 설계된 KV-블록-주요 프리필 레이아웃도 함께 사용합니다.

기술 스택: EAGLE3부터 expert parallelism까지

MiniMax M3 지원은 완전한 vLLM 기능 세트와 함께 제공됩니다. 프리픽스 캐싱과 청크 프리필은 MSA 메커니즘과 수정 없이 작동합니다. tool-call 파서와 reasoning output 파서는 네이티브 에이전트 활용을 가능하게 하며, thinking-mode 제어는 요청별로 연쇄 추론을 동적으로 활성화 및 비활성화할 수 있게 합니다.

특히 주목할 만한 추가 사항은 EAGLE3 추측 디코딩 지원입니다. EAGLE3용 드래프트 모델은 발표와 함께 HuggingFace에 공개되었으며, 측정 결과 추측 토큰 수용률 67%, 단계당 평균 길이 3.0토큰을 달성했습니다 — 실제로 메인 모델 호출 횟수가 크게 줄고 레이턴시가 낮아집니다.

병렬화 측면에서 vLLM은 MoE 레이어를 위한 텐서 병렬성과 expert parallelism 모두를 지원하여 인프라 요구사항에 따른 모델 분산을 가능하게 합니다.

하드웨어 검증 및 백엔드 세부 사항

MiniMax M3는 6가지 GPU 플랫폼에서 검증되었습니다. NVIDIA 측:

• H200 (Hopper 아키텍처) — 양자화 추론을 위한 Marlin MXFP8 백엔드 사용
• GB200 및 B300 (Blackwell 아키텍처) — 차세대 하드웨어에 최적화된 DeepGEMM 백엔드 사용

AMD 측:

• MI300 및 MI350 시리즈 GPU

모델은 BF16 및 MXFP8 정밀도로 제공되며, MXFP8 변형은 GPU 아키텍처에 따라 적합한 MoE 백엔드를 사용합니다.

벤치마크 측정 성능

발표에 게재된 모든 결과는 B300 구성에서 측정되었습니다:

• GSM8K: 91.51% (엄격한 매치) / 91.66% (유연한 매치) — 언어 모델을 위한 표준 수학 벤치마크
• ShareGPT 처리량 (동시 요청 256개): 초당 8,530토큰
• TPOT (출력 토큰당 시간): 56.0밀리초
• EAGLE3 수용률: 67%, 추측 시퀀스 평균 길이 3.0토큰

이 결과들은 긴 컨텍스트 능력을 희생하지 않고 달성된 것으로, 단일 B300 구성에서 위의 처리량을 유지하면서도 백만 토큰 전체 용량을 갖추고 있습니다.

멀티모달리티와 에이전트 활용

MiniMax M3는 순수 텍스트 모델이 아닙니다. 이미지 및 비디오에 대한 네이티브 지원이 아키텍처에 통합되어 있어, 별도의 비전 인코더나 추가 처리 단계가 필요하지 않습니다. tool-call 및 reasoning 파서와 함께, 이 모델은 시각적 콘텐츠 분석, 다단계 추론, 외부 도구 호출을 결합한 복잡한 에이전트 작업을 처리할 준비가 되어 있습니다.

BF16 및 MXFP8 형식의 가용성 — 모든 vLLM 기능에 대한 Day-0 지원과 함께 — 은 MiniMax M3를 이후 업데이트나 기능 제한을 기다리지 않고 첫날부터 실용적으로 사용할 수 있게 합니다. vLLM 커뮤니티와 MiniMax 팀이 공동으로 통합을 개발했으며, 발표에서는 긴밀한 협력이 출시 당일 완전한 기능 동등성을 달성하는 데 핵심이었다고 밝혔습니다.