NVIDIA: Blackwell이 Hopper보다 35배 저렴하게 토큰 생성——토큰당 비용만이 유일한 지표
왜 중요한가
NVIDIA가 토큰당 비용이 AI 인프라에서 유일하게 관련된 지표임을 주장하는 분석을 발표했습니다. Blackwell과 Hopper 세대 비교에서 Blackwell은 GPU 시간당 비용이 2배 높지만 초당 65배 더 많은 토큰을 생성하여, 백만 토큰당 비용이 35배 낮아집니다——Hopper의 4.20달러 대비 0.12달러.
NVIDIA가 AI 인프라의 총 소유 비용(TCO)에 대한 상세한 분석을 발표하며, 업계가 GPU 가격 비교를 중단하고 대신 하나의 지표만 살펴봐야 한다고 주장했습니다: 생성된 토큰당 비용입니다.
Blackwell이 어떻게 2배 비쌀 수 있으면서 35배 저렴할 수 있습니까?
역설은 처리량에 있습니다. Blackwell GPU는 이전 세대 Hopper보다 시간당 약 2배 높은 비용이 듭니다. 그러나 Blackwell은 초당 65배 더 많은 토큰을 생성합니다. 백만 개의 생성된 토큰당 비용을 계산하면, Blackwell은 Hopper의 4.20달러 대비 0.12달러가 됩니다——35배 저렴합니다.
NVIDIA는 자동차 산업의 비유를 사용합니다: 연료를 2배 더 소비하지만 65배 더 많은 화물을 운반하는 트럭은 운반된 화물 킬로그램당 훨씬 더 효율적입니다. AI 추론도 마찬가지입니다——생산성 맥락 없이 GPU의 절대 가격은 무의미합니다.
”익스트림 코디자인” 접근 방식이란 무엇입니까?
NVIDIA는 “익스트림 코디자인” 개념을 추진합니다——하드웨어, 소프트웨어, 네트워크 인프라를 통합 시스템으로 동시에 최적화하는 것입니다. GPU를 별도로 최적화하고 나중에 소프트웨어를 조정하는 대신, Blackwell 플랫폼은 각 레이어가 다른 레이어의 효율성을 강화하는 통합된 전체로 설계되었습니다.
AI 인프라를 구축하거나 임대하는 조직들에게 메시지는 명확합니다: 개별 구성 요소의 사양을 비교하면 왜곡된 그림이 만들어집니다. 비즈니스 결과에 영향을 미치는 유일한 지표는 최종 사용자에 대한 응답 생성 비용입니다——그 비용은 새로운 세대의 하드웨어와 함께 기하급수적인 속도로 하락하고 있습니다.
이 기사는 AI가 1차 출처를 기반으로 생성했습니다.