NVIDIA:Blackwell生成令牌的成本比Hopper低35倍——每令牌成本是唯一重要的指标
为什么重要
NVIDIA发布了一项分析,论证每令牌成本是AI基础设施唯一相关的指标。Blackwell与Hopper世代的比较显示,Blackwell每GPU小时成本高出两倍,但每秒生成令牌数多65倍,导致每百万令牌成本低35倍——0.12美元对比Hopper的4.20美元。
NVIDIA发布了AI基础设施总拥有成本(TCO)的详细分析,论证行业应该停止比较GPU价格,而只关注一个指标:每生成令牌的成本。
Blackwell如何能贵2倍却便宜35倍?
悖论在于吞吐量。Blackwell GPU每小时使用成本大约是上一代Hopper的两倍。然而,Blackwell每秒生成的令牌数多65倍。计算每百万生成令牌的成本时,Blackwell为0.12美元,而Hopper为4.20美元——便宜35倍。
NVIDIA使用汽车行业的类比:一辆燃油消耗是两倍但能运输65倍货物的卡车,在每公斤运输货物的效率上要高得多。AI推理也是如此——没有生产力背景,GPU的绝对价格毫无意义。
什么是”极致协同设计”方法?
NVIDIA推广”极致协同设计”理念——将硬件、软件和网络基础设施同时优化为一个统一系统。不是单独优化GPU再事后调整软件,Blackwell平台被设计为一个集成整体,每一层都增强其他层的效率。
对于构建或租用AI基础设施的组织,信息很明确:比较各个组件的规格会产生扭曲的图景。影响业务结果的唯一指标是为最终用户生成回应的成本——而这个成本随着新一代硬件以指数级速度下降。
本文由人工智能基于一手来源生成。