NVIDIA Vera:为何智能体AI需要更快的核心,而非更多核心
搭载Olympus核心的NVIDIA Vera CPU比Grace处理器提升50% IPC,并提供3.4 TB/s核心间带宽。Perplexity在编码智能体工作流上测得1.5倍的任务完成速度提升。
本文由人工智能基于一手来源生成。
NVIDIA详细介绍了Vera CPU背后的架构理念——这颗处理器是Vera Rubin超级芯片的核心。核心论点不在于核心数量,而在于每个核心的速度:智能体AI循环本质上是串行的,因此单线程吞吐量与并行性同样重要。
为何智能体循环不同于传统工作负载?
传统CPU性能扩展方法专注于增加核心数以并行化独立任务。智能体AI工作流的运作方式则不同:智能体规划步骤、执行它、接收结果,然后基于结果规划下一步。每个步骤都依赖前一步,这意味着循环无法简单地并行化。
在这种场景下,单核速度直接决定整个智能体循环的延迟。一颗速度快两倍但核心数减半的处理器,在智能体任务上可能比拥有更多慢速核心的处理器更快。
Olympus核心规格
Vera CPU基于Olympus核心,比NVIDIA Grace核心提升50% IPC。该处理器支持多达88个核心,通过LPDDR5X内存提供高达1.2 TB/s的内存带宽,内存子系统功耗低于40 W。
核心间带宽达3.4 TB/s,据NVIDIA数据,这是任何其他数据中心CPU的3倍。这一指标对核心间需要密集交换数据的工作负载尤为重要。
在传统上对ARM架构不利的高负载工作负载上,Vera实现了比x86处理器高1.8倍的可持续单核性能。NVIDIA将这一结果归因于单片式构建,消除了所谓的「小芯片税」(chiplet tax)——即数据在多芯片处理器内部芯片间传输时产生的延迟。
Perplexity作为主要采用者
Perplexity是主要的公开命名用户,分享了具体的性能数据。该公司在包含代码仓库克隆和测试套件执行的编码智能体工作流上测试了Vera CPU。
结果:与x86替代方案相比,任务完成速度约提升1.5倍,并发沙箱启动速度高达1.9倍。后一个数字对多个智能体会话需要快速并行启动的场景尤为相关,这是现代编码助手系统的常见需求。
路线图:Rosa与Rigel核心
NVIDIA宣布了名为Rosa CPU的继任者,将采用Rigel核心。Rigel带来改进的指令发射、更大的L2缓存和更高效的内存管理,同时保持与Olympus核心相同的硅片面积。
除Perplexity的数据外,NVIDIA还引用了其他合作伙伴的结果:Starburst在大型数据集上测得3倍的SQL分析执行速度提升,而Redpanda在实时数据流处理工作负载上实现了高达6倍的延迟降低。这些结果表明,Olympus核心的优势不仅限于狭义的智能体场景。
Vera CPU作为NVIDIA更广泛基础设施战略的一部分推出,服务于对智能体AI系统日益增长的需求。在当前时间点,这次发布更多是来自首位客户的验证,而非典型的产品发布——Perplexity为NVIDIA在设计Olympus核心时所做的架构决策提供了具体的市场证明。
常见问题
- 为何单线程性能对智能体AI工作负载如此重要?
- 智能体任务循环本质上是串行的——每个步骤都依赖前一步的结果。单核速度直接决定整个智能体循环的速度,因此高IPC带来的加速效果优于增加核心数量。
- Perplexity在Vera CPU上测得了怎样的结果?
- 与x86处理器相比,Perplexity在编码智能体工作流上测得约1.5倍的任务完成速度提升,以及高达1.9倍的并发沙箱启动加速。
- NVIDIA路线图中Vera CPU的继任者是什么?
- 继任者是搭载Rigel核心的Rosa CPU,带来改进的指令发射、更大的L2缓存和更高效的内存管理,且硅片面积与Olympus核心相同。