NVIDIA:得益于协同设计,Vera Rubin平台以四分之一的Blackwell世代GPU数量训练最大规模的AI模型
NVIDIA称新的Vera Rubin平台凭借硬件与软件的端到端协同设计(codesign),仅用Blackwell世代四分之一数量的GPU即可训练出最大规模的AI模型。Nemotron 3 Ultra模型在SWE-bench Verified基准测试中取得71.7%的成绩,Vera CPU的吞吐量比x86替代方案高出约30%。
本文由人工智能基于一手来源生成。
Vera Rubin平台节省了多少GPU?
NVIDIA称,Vera Rubin平台训练最大规模的AI模型时,所需GPU数量仅为上一代Blackwell所需的四分之一。这一节省得益于端到端协同设计(codesign)——一种硬件与软件从一开始就共同开发,而非各自独立开发的方法。该平台将Vera CPU处理器与Rubin GPU融合为统一设计,因此优化是在整个系统层面进行,而不仅仅是在单个芯片层面。
技术背景
Nemotron 3 Ultra是NVIDIA的一款MoE(专家混合,Mixture of Experts)类型模型,拥有5500亿参数,这种架构在处理每个请求时只激活网络中一部分专门的”专家”,而非整个模型。该模型在SWE-bench Verified(一个衡量解决GitHub上报告的真实bug能力的基准测试)中取得了71.7%的成绩。
测试结果
Prime Intellect在RL(强化学习)沙盒环境中测试了Vera CPU处理器,测得每个处理器的吞吐量比替代性的x86架构高出约30%。后训练(post-training)——即在初始训练之后通过额外数据和反馈持续完善模型的过程——被NVIDIA视为一个持续性过程,而非一次性步骤。这一结果表明,处理器架构的选择直接影响RL沙盒周期的速度,而不仅仅是系统中可用GPU的原始数量。
市场意义
NVIDIA将”每美元智能”(intelligence per dollar)作为衡量智能体式AI的关键指标,而非仅仅是原始算力。如果四分之一Blackwell世代GPU这一说法在实践中得到证实,训练相当规模模型的成本相比上一代可能大幅下降。NVIDIA建议不要仅按晶体管数量或原始FLOP值来比较各代产品,而应以模型实现的智能与投入资金的比值来衡量进步,这直接决定了企业需要采购多少GPU才能训练出可比规模的模型。
常见问题
- Nemotron 3 Ultra是什么?
- Nemotron 3 Ultra是NVIDIA的一款拥有5500亿参数的MoE(专家混合)模型,在SWE-bench Verified基准测试中取得了71.7%的成绩。
- Vera Rubin平台相比Blackwell节省多少GPU?
- NVIDIA称,得益于硬件与软件的端到端协同设计,训练最大规模模型仅需Blackwell世代四分之一数量的GPU。
📬 AI 新闻直达您的邮箱
按您的方式定制每日摘要——自选主题、来源和频率,一键退订。