NVIDIA：BlackwellはHopperより35倍安価にトークンを生成——トークンあたりのコストが唯一の指標
なぜ重要か
NVIDIAはトークンあたりのコストがAIインフラにとって唯一関連するメトリクスであると主張する分析を発表しました。BlackwellとHopper世代の比較では、BlackwellはGPU時間あたりのコストが2倍高いものの、毎秒65倍のトークンを生成し、百万トークンあたりのコストが35倍低くなります——Hopperの4.20ドルに対して0.12ドル。
NVIDIAはAIインフラの総所有コスト（TCO）の詳細な分析を発表し、業界はGPUの価格比較をやめて、唯一の指標である生成されたトークンあたりのコストだけを見るべきだと主張しています。
BlackwellはなぜGPUコストが2倍高くても35倍安くなれるのですか？
パラドックスはスループットにあります。Blackwell GPUは前世代のHopperと比較して使用時間あたりのコストが約2倍です。しかし、Blackwellは毎秒65倍のトークンを生成します。百万個の生成トークンあたりのコストを計算すると、Blackwellは0.12ドルでHopperの4.20ドルと比較して——35倍安くなります。
NVIDIAは自動車産業のアナロジーを使用します：燃料を2倍消費するが65倍の荷物を運ぶトラックは、輸送された荷物のキログラムあたりで劇的に効率的です。AI推論も同様——生産性のコンテキストなしにGPUの絶対価格は無意味です。
「エクストリームコデザイン」アプローチとは何ですか？
NVIDIAは「エクストリームコデザイン」の概念を推進しています——ハードウェア、ソフトウェア、ネットワークインフラを統一されたシステムとして同時に最適化することです。GPUを個別に最適化してソフトウェアを後から適応させるのではなく、Blackwellプラットフォームは各レイヤーが他のレイヤーの効率を高める統合された全体として設計されています。
AIインフラを構築またはリースする組織にとって、メッセージは明確です：個々のコンポーネントの仕様を比較すると歪んだ絵が生まれます。ビジネス成果に影響する唯一のメトリクスは、エンドユーザーへのレスポンス生成コストです——そのコストは新世代のハードウェアとともに指数関数的なペースで低下しています。
この記事はAIにより一次情報源から生成されました。