NVIDIA: Blackwell generira tokene 35 puta jeftinije od Hoppera — cijena po tokenu jedina je metrika

NVIDIA je objavila detaljnu analizu ukupnog troška vlasništva (TCO) za AI infrastrukturu, argumentirajući da industrija treba prestati uspoređivati cijene GPU-ova i umjesto toga gledati isključivo jednu metriku: cijenu po generiranom tokenu.

Kako Blackwell može biti 2x skuplji a 35x jeftiniji?

Paradoks je u propusnosti. Blackwell GPU košta otprilike dva puta više po satu korištenja od prethodne Hopper generacije. Međutim, Blackwell generira 65 puta više tokena u sekundi. Kad se izračuna cijena po milijunu generiranih tokena, Blackwell dolazi na 0,12 dolara nasuprot 4,20 dolara za Hopper — 35 puta jeftiniji.

NVIDIA koristi analogiju iz automobilske industrije: kamion koji troši duplo više goriva ali prevozi 65 puta više tereta je drastično efikasniji po kilogramu prevezene robe. Isto vrijedi za AI inference — apsolutna cijena GPU-a je irelevantna bez konteksta produktivnosti.

Što je “extreme codesign” pristup?

NVIDIA promovira koncept “extreme codesign” — istovremeno optimiziranje hardvera, softvera i mrežne infrastrukture kao jedinstven sustav. Umjesto da se GPU optimizira zasebno, a softver naknadno prilagodi, Blackwell platforma je dizajnirana kao integrirana cjelina gdje svaki sloj pojačava efikasnost ostalih.

Za organizacije koje grade ili unajmljuju AI infrastrukturu, poruka je jasna: usporedba specifikacija pojedinih komponenti daje iskrivljenu sliku. Jedina metrika koja utječe na poslovni rezultat je koliko košta generirati odgovor za krajnjeg korisnika — a ta cijena pada eksponencijalnim tempom s novim generacijama hardvera.