vLLM: Day-0 podrška za TML Inkling — bilijun-parametarski model do 380 tokena/s na GB200

Što je vLLM i što je TML Inkling?

vLLM (open-source engine za posluživanje velikih jezičnih modela) objavio je Day-0 podršku za TML Inkling — što znači da je podrška za novi model bila dostupna već na dan objave, bez čekanja na naknadno ažuriranje sustava. TML Inkling multimodalni je model s 1 bilijonom parametara (10¹², tzv. trilijun u europskom brojčanom sustavu), što ga svrstava u najtežu klasu javno dostupnih modela. Za usporedbu, GPT-4 se procjenjuje na oko 1,8 trilijuna parametara, dok većina open-source modela danas ima 7 do 70 milijardi.

Kako izgleda izvedba?

Na četiri NVIDIA GB200 GPU-a vLLM s TML Inklingom postiže do 380 tokena u sekundi po korisniku — što je iznimno za model ove veličine. Sustav koristi MTP (multi-token prediction — predviđanje više tokena odjednom umjesto jednog po jednog), što dodatno ubrzava generiranje teksta i slika. Uz to, implementacija podržava long-context serving (posluživanje zahtjeva s dugačkim kontekstom) i razne oblike paralelizma (tenzorski, pipelineovski), što omogućuje skaliranje na višestruke GPU-ove.

Zašto je to značajno za razvoj AI infrastrukture?

Integracija ne zahtijeva modifikacije vLLM jezgre — TML Inkling radi izravno s postojećim sustavom. To znači da organizacije koje već koriste vLLM mogu odmah početi posluživati bilijun-parametarski multimodalni model bez dodatnih prilagodbi svog steka. Uspoređujući s prethodnim stanjem, gdje su modeli te veličine zahtijevali posebne inference okvire ili značajne prilagodbe, ovaj iskorak znatno snižava barijeru za produkcijsku primjenu frontier modela.

Izvor: vLLM Blog