MiniMax M3 进驻 vLLM：百万 Token 上下文模型首日即获完整支持

2026年6月12日，vLLM 团队宣布对 MiniMax M3 提供完整的首日支持。MiniMax M3 是中国 AI 初创公司 MiniMax 推出的新模型，融合了百万 Token 上下文、原生多模态能力以及混合专家（MoE）架构。这是首个在发布当天即在 vLLM 中实现功能完整支持的大型长上下文 MoE 模型。

为什么百万 Token 上下文对服务是一项挑战？

标准 KV 缓存随上下文长度线性增长——BF16 精度下的百万 Token 仅存储注意力中间步骤就需要数百 GB 的 GPU 内存。传统上物化完整 KV 缓存的方法在实际 GPU 配置下变得不可行。MiniMax M3 通过 **MiniMax Sparse Attention（MSA）**解决了这个问题——这一架构创新从根本上重新定义了模型访问长序列的方式。

MSA 将 KV 缓存划分为 128个 Token 的块。每个查询（或 GQA 查询组）通过轻量级 indexer-score 内核对所有可用块打分，仅选取最相关的块进行实际注意力计算。结果是内存和计算开销大幅降低：模型无需完整物化百万个 Token，而是有选择性地访问相关片段。vLLM 中的实现还采用了专为这种数据访问模式设计的 KV 块主序（block-major）预填充布局。

技术栈：从 EAGLE3 到专家并行

MiniMax M3 的支持提供了完整的 vLLM 功能集。前缀缓存和分块预填充与 MSA 机制无缝配合。工具调用解析器和推理输出解析器支持原生智能体应用，而思考模式控制则允许按需动态开启或关闭链式推理。

特别值得一提的是对 EAGLE3 推测解码的支持。EAGLE3 草稿模型随发布一同提供在 HuggingFace 上，测量结果显示推测 Token 接受率为 67%，每步平均序列长度为 3.0个 Token——这在实践中意味着对主模型调用次数的显著减少和更低延迟。

在并行化方面，vLLM 同时支持张量并行和 MoE 层的专家并行，可根据基础设施需求分布模型。

硬件验证与后端细节

MiniMax M3 已在六类 GPU 平台上完成验证。NVIDIA 侧：

• H200（Hopper 架构）—— 使用 Marlin MXFP8 后端进行量化推理
• GB200 和 B300（Blackwell 架构）—— 使用为新一代硬件优化的 DeepGEMM 后端

AMD 侧：

• MI300 和 MI350 系列 GPU

模型提供 BF16 和 MXFP8 精度版本，MXFP8 变体根据 GPU 架构使用对应的 MoE 后端。

基准测试性能

发布文章中展示的所有结果均在 B300 配置上测得：

• GSM8K：91.51%（严格匹配）/ 91.66%（灵活匹配）—— 标准数学推理基准
• ShareGPT 吞吐量（256路并发）：每秒 8,530个 Token
• TPOT（每输出 Token 时间）：56.0毫秒
• EAGLE3 接受率：67%，推测序列平均长度3.0个 Token

上述结果在不牺牲长上下文能力的前提下实现——模型在单张 B300 配置上保持完整的百万 Token 容量，同时达到上述吞吐量指标。

多模态与智能体应用

MiniMax M3 并非纯文本模型。对图像和视频的原生支持已集成至架构中，无需独立的视觉编码器或额外处理步骤。配合工具调用和推理解析器，该模型已为结合视觉内容分析、多步推理和外部工具调用的复杂智能体任务做好准备。

BF16 和 MXFP8 格式的可用性——以及对所有上述 vLLM 功能的首日支持——使 MiniMax M3 从发布第一天起即可投入实际使用，无需等待后续更新或忍受功能限制。vLLM 社区与 MiniMax 团队共同开发了这一集成，发布文章指出紧密协作是实现发布当日完整功能支持的关键。