NVIDIA: Blackwell generira tokene 35 puta jeftinije od Hoppera — cijena po tokenu jedina je metrika
NVIDIA je objavila analizu koja argumentira da je cijena po tokenu jedina relevantna metrika za AI infrastrukturu. Usporedba Blackwell i Hopper generacije pokazuje da Blackwell košta dva puta više po GPU satu, ali generira 65 puta više tokena u sekundi, rezultirajući 35 puta nižom cijenom po milijunu tokena — 0,12 dolara nasuprot 4,20 dolara za Hopper.
Ovaj članak generiran je uz pomoć umjetne inteligencije na temelju primarnih izvora.
NVIDIA je objavila detaljnu analizu ukupnog troška vlasništva (TCO) za AI infrastrukturu, argumentirajući da industrija treba prestati uspoređivati cijene GPU-ova i umjesto toga gledati isključivo jednu metriku: cijenu po generiranom tokenu.
Kako Blackwell može biti 2x skuplji a 35x jeftiniji?
Paradoks je u propusnosti. Blackwell GPU košta otprilike dva puta više po satu korištenja od prethodne Hopper generacije. Međutim, Blackwell generira 65 puta više tokena u sekundi. Kad se izračuna cijena po milijunu generiranih tokena, Blackwell dolazi na 0,12 dolara nasuprot 4,20 dolara za Hopper — 35 puta jeftiniji.
NVIDIA koristi analogiju iz automobilske industrije: kamion koji troši duplo više goriva ali prevozi 65 puta više tereta je drastično efikasniji po kilogramu prevezene robe. Isto vrijedi za AI inference — apsolutna cijena GPU-a je irelevantna bez konteksta produktivnosti.
Što je “extreme codesign” pristup?
NVIDIA promovira koncept “extreme codesign” — istovremeno optimiziranje hardvera, softvera i mrežne infrastrukture kao jedinstven sustav. Umjesto da se GPU optimizira zasebno, a softver naknadno prilagodi, Blackwell platforma je dizajnirana kao integrirana cjelina gdje svaki sloj pojačava efikasnost ostalih.
Za organizacije koje grade ili unajmljuju AI infrastrukturu, poruka je jasna: usporedba specifikacija pojedinih komponenti daje iskrivljenu sliku. Jedina metrika koja utječe na poslovni rezultat je koliko košta generirati odgovor za krajnjeg korisnika — a ta cijena pada eksponencijalnim tempom s novim generacijama hardvera.
Česta pitanja
- Koliko je Blackwell jeftiniji po tokenu od Hoppera?
- Blackwell generira tokene za 0,12 dolara po milijunu, dok Hopper košta 4,20 dolara — 35 puta skuplje, unatoč tome što Blackwell ima dvostruko viši trošak po GPU satu.
- Zašto je cijena po tokenu važnija od cijene hardvera?
- Jer jeftiniji hardver koji generira manje tokena u sekundi može biti ukupno skuplji od skupljeg hardvera s višom propusnošću — ukupni trošak vlasništva ovisi o produktivnosti, ne o cijeni jedinice.
Povezane vijesti
AMD: Gluon block-level model omogućuje GEMM kernele s 5.255 TFLOPS MXFP4 na Instinct MI355
AMD: ROCm 7.13 donosi MI350P GPU, multi-VF virtualizaciju i TheRock pakiranje
AMD ROCm: BubbleFence dijeli video streamove embeddingom iz Vision Foundation modela umjesto metadata heuristika