AMD：Ryzen AI Max+ 395利用统一内存架构运行多达1220亿参数的LLM模型
AMD ROCm博客发布了关于Ryzen AI Max+ 395处理器上LLM推理的详细分析，该处理器采用UMA（统一内存架构）设计。配备128 GB LPDDR5X内存的系统在完整GPU卸载模式下，于Qwen3.5 35B MoE模型上实现42词元/秒的速度，并通过结合CPU与GPU内存支持多达1220亿参数的模型。
本文由人工智能基于一手来源生成。
AMD Ryzen AI Max+为本地LLM推理带来了哪些可能？
AMD通过ROCm博客发布了关于Ryzen AI Max+ 395处理器LLM推理能力的详细分析——这是AMD面向笔记本电脑及迷你PC设备的Ryzen AI Max系列中最先进的芯片。该处理器的核心优势在于UMA（统一内存架构），CPU与集成Radeon 8060S GPU共享同一128 GB LPDDR5X物理内存池。
与拥有独立VRAM的离散GPU不同，Ryzen AI Max+处理器实现了CPU与GPU之间的透明内存共享，从根本上消除了本地LLM推理的关键瓶颈之一。
测试模型的具体基准测试结果如何？
测试在Ubuntu 24.04 LTS、ROCm 7.2.1和Ollama 0.20.x环境下进行，采用Q4_K_M量化方式：
| 模型 | 大小 | 生成速度 | GPU卸载比例 |
|---|---|---|---|
| Qwen3.5 9B | 6.2 GB | 29.84词元/秒 | 100% GPU |
| Qwen3.5 35B-A3B（MoE） | 20.5 GB | 42.04词元/秒 | 100% GPU |
| Qwen3.5 122B-A10B（MoE） | 76 GB | 8.59词元/秒 | 61% GPU / 39% CPU |
Qwen3.5 35B-A3B MoE（混合专家）模型的结果尤为引人注目——尽管参数数量远多于9B模型，其速度却更快。这是因为MoE架构每次只激活30亿参数，其余参数保持休眠状态。
Ryzen AI Max+如何面向专业用户定位？
对于交互式应用，AMD推荐使用Qwen3.5 35B-A3B，其42词元/秒的速度足以提供流畅的对话体验。若需最大参数容量，可选择Qwen3.5 122B-A10B——该模型超出GPU的64 GB容量，系统将自动在GPU与CPU之间分配负载，实现8.59词元/秒。
Ryzen AI Max+ 395使AMD直接进入此前由Apple M4 Max芯片主导的高内存带宽细分市场——但凭借开放的ROCm生态系统以及与Ollama等工具的Linux兼容性，AMD拥有自身独特的竞争优势。
常见问题
- 在AMD Ryzen AI Max+环境中，UMA架构是什么？
- UMA（统一内存架构）是一种设计方案，其中CPU与GPU共享同一128 GB LPDDR5X物理内存池，从而可以运行超越传统VRAM限制的LLM模型。
- Ryzen AI Max+在35B模型上能达到多快的推理速度？
- Ryzen AI Max+ 395在Qwen3.5 35B-A3B MoE模型完整GPU卸载模式下可达42.04词元/秒，提示词处理速度则为154.52词元/秒。
- 能否在Ryzen AI Max+上运行1220亿参数的模型？
- 可以。Qwen3.5 122B-A10B可在Ryzen AI Max+上运行，负载自动分配至GPU（61%）与CPU（39%），文本生成速度达8.59词元/秒。
📬 AI 新闻直达您的邮箱
按您的方式定制每日摘要——自选主题、来源和频率，一键退订。