Ollama 带来 Apple Silicon 推理速度提升 20%：MLX 引擎、NVFP4 量化及代理工作流快照

Ollama 发布了 MLX 引擎的最新更新，专为 Apple Silicon 优化，在 token 生成速度、量化精度和代理工作流支持方面均有显著提升。本次更新将 Apple Silicon 确立为运行现代大型语言模型的专业推理硬件的有力替代方案。

MLX 引擎更新对 Apple Silicon 用户意味着什么？

MLX（Machine Learning eXecution）是 Apple 针对 Apple Silicon 架构及其统一内存（unified memory）优化的机器学习框架。Ollama 的 MLX 引擎更新为所有搭载 Apple Silicon 的设备带来了更高的生成速度、更好的输出质量以及更短的首 token 时间（time to first token）。除速度提升外，本次更新还引入了三项关键技术创新：NVFP4 量化、代理工作流快照系统以及原生思维模型支持。

token 生成速度最高提升 20%

更新后的 MLX 引擎在 Apple Silicon 设备上实现了最高 20% 的 token 生成速度提升。速度提升主要通过两种机制实现：

• Metal 内核融合（fused Metal kernel operations）——将多个操作合并为一个，减少处理器核间通信开销，直接提升吞吐量
• GPU 采样（GPU-backed sampling）——下一个 token 的选择过程现完全在 GPU 上进行，消除了处理器子系统间昂贵的数据传输路径

这些优化的组合意味着，MacBook Pro、Mac Studio 和 Mac Pro 用户无需更改任何配置，即可获得明显更快的模型响应速度。

NVFP4：面向桌面推理的全新量化级别

本次更新最重要的新增内容之一是对 NVIDIA NVFP4 量化格式的支持。量化是一种通过降低模型权重精度来加快执行速度、减少内存占用的技术，不可避免地会带来一定的质量损失。

NVFP4 提供了出色的平衡：该格式将 4 位量化相比未量化 BF16 权重的质量损失减半。简而言之，使用 NVFP4 量化的模型比使用标准 4 位量化压缩的模型保留了更多的细节和精度——这决定了模型在复杂推理上是否会出错，还是能可靠地解决问题。

Ollama 在运行于 MacBook Pro M5 Max 上的 Gemma 4 12B 模型上进行了性能测试，证明数据中心级别的模型现已可在桌面和笔记本电脑上以可接受的质量水平运行。

代理工作流的快照系统

本次更新引入了快照系统（snapshot system），直接解决了代理工作流中的一个关键挑战：在对话分支或重试时重复处理相同上下文的冗余问题。

快照系统以多种方式运作：

• 在对话分支节点和关键处理节点保存模型状态
• 支持多个并发代理——每个代理可从各自独立保存的快照继续运行，互不干扰
• 支持思维模型（thinking models），其中推理 token（reasoning tokens）在轮次间被丢弃——快照确保无需从头重新处理上下文
• 分支和重试场景（branching and retry scenarios）无需完整重新处理整个上下文

快照系统与前缀缓存（prefix caching）协同工作，后者可最大限度减少工具调用（tool calls）和多代理交接（multi-agent handoffs）之间的重复计算。

前缀缓存与思维模型

除快照系统外，Ollama 还引入了对思维模型的原生支持——这类模型在给出最终答案之前会生成内部思维链（chain-of-thought）。前缀缓存（prefix caching）降低了长对话和多代理系统中重复上下文的计算成本，使代理应用更加高效、快速。

在 Apple Silicon 上运行 Gemma 4 12B

上述所有功能即刻可用。用户可通过 MLX 后端运行 Gemma 4 12B 模型来体验更新后的 MLX 引擎：

ollama run gemma4:12b-mlx

对于代理应用，还可通过命令 ollama launch pi --model gemma4:12b-mlx 运行。本次更新印证了 Ollama 的愿景：Apple Silicon 作为数据中心模型桌面推理的真正平台，利用 Apple 的统一内存架构和基于 Metal 的 MLX 框架，在消费级硬件上实现最大效率。