vLLM i Tencent Hunyuan upstreamaju dva HPC backenda za NVIDIA Hopper GPU-ove

Tencent Hunyuan AI Infra tim i vLLM tim zajednički su upstreamali dva visoko-performansna backenda u mainstream vLLM projekt. Radi se o HPC_ATTN attention backendu i hpc MoE backendu, dostupnima kao first-class komponente bez potrebe za forkanjem ili modifikacijom jezgre vLLM-a. Ovaj doprinos označava jednu od rijetkih instanci u kojoj industrijski tim upstreamava production-grade kernelske optimizacije direktno u otvoreni projekt na kojemu se oslanja, umjesto da ih drži kao internu prednost.

Dva nova HPC backenda u ekosustavu vLLM-a

Suradnja između Tencent Network Platform odjela, Hunyuan AI Infra tima i vLLM/Inferact maintainera donosi rješenja za dva kronična uska grla moderne LLM inferencije: dinamičko uravnoteženje decode faze i overhead FP8 MoE routinga. Oba backenda integrirana su kroz standardne registracijske mehanizme vLLM-a — PR #46020 za attention i PR #45924 za MoE backend — što znači da korisnici selektiraju novi backend kroz konfiguracijske parametre bez ikakvih modifikacija jezgre.

Referentni model na kojemu su backendi validirani jest Hy3, Tencent Hunyuan model s 295 milijardi ukupnih parametara i 21 milijardom aktiviranih. Model sadrži 192 eksperta s top-8 routingom, 64 query i 8 KV headova, dimenziju heada 128 te 256K tokena kontekstnog prozora. Spekulativni dekodirni sloj (MTP) dodaje još 3,8 milijardi parametara.

Zašto je dinamički raspored ključan za attention?

Statički split-KV rasporedi pretpostavljaju uniformnu duljinu sekvence unutar batcha. U produkcijskom okruženju to rijetko vrijedi — mix kratkih i dugih zahtjeva stvara idle čekanje na compute jedinicama koje su završile posao, dok druge još obrađuju duge sekvence. Rezultat su izgubljeni GPU ciklusi proporcionalni disperziji duljina u batchu.

HPC_ATTN backend rješava taj problem per-step load-balanced decode schedulerom koji distribuira 64-tokenskih pločica po compute jedinicama proporcionalno stvarnoj duljini svake sekvence u trenutnom koraku generiranja. Fusioniran prolog objedinjuje RoPE rotaciju, QK-Norm normalizaciju i KV-write operaciju u jedan kernelski prolaz, eliminirajući redundantna memorijska čitanja i pisanja između tih operacija.

Na mješovitom workloadu od jedne sekvence od 128K tokena i 31 sekvence od 4K tokena, dinamički raspored postiže 2,95× speedup nad statičkim ekvivalentom. Prosječna prednost nad FlashInfer i FlashAttention implementacijama iznosi 2,25× na mixed-length decode batchevima. Backend podržava BF16 i FP8 preciznost.

FP8 MoE pipeline kao jedan izvršni put

Standardni MoE inference prolazi kroz niz odvojenih kernel poziva: routing, Gate-Up GEMM, aktivacijska funkcija, kvantizacija, Down GEMM i top-k redukcija. Svaki prelaz između kernela znači round-trip prema High Bandwidth Memory (HBM), što kod decode-dominantnih workloada — gdje je batch mali, a latencija kritična — postaje dominantan overhead koji maskira stvarnu računalnu brzinu hardvera.

hpc backend fuzionira cijeli taj pipeline u jedan izvršni put koristeći Programmatic Dependent Launch (PDL) lančanje. Routing tablice čuvaju se u shared memoriji umjesto u HBM-u, što eliminira skupo dohvaćanje ekspertnih indeksa između faza. Arhitektura je FP8-only, konzistentna s hardware mogućnostima Hopper generacije.

Izmjereni rezultati na NVIDIA H20 GPU-ovima

End-to-end mjerenja provedena su na konfiguraciji 8× H20 s Hy3 modelom. Vremenski do prvog tokena (TTFT) smanjen je za prosječno 24%. Vrijeme po outputnom tokenu (TPOT) poboljšano je za prosječno 17%, a na najvećem batch sizeu od 64 popravak raste na 30%.

MoE backend postiže 1,59× niži latency od najboljeg baseline rješenja (Triton/CUTLASS) pri konfiguraciji TP8/EP1, i 1,21× pri TP1/EP8. Prednost je najizraženija kod malih i srednje velikih batch sizeova, što odgovara tipičnim produkcijskim decode scenarijima u kojima se mali broj istovremenih zahtjeva mora servirati uz minimalnu latenciju.

Integracija bez forkova i Hopper-specifičnost

Oba backenda namijenjena su isključivo GPU-ovima s Hopper arhitekturom — H20 je navedena kao optimalna platforma. Oslanjanje na PDL mehanizme i Hopper-specifične instrukcije znači da proširenje na starije arhitekture nije trivijalno i nije najavljeno.

Upstreamanjem kroz formalni PR proces, Tencent Hunyuan tim slijedi model doprinosa koji svim vLLM korisnicima daje pristup optimizacijama bez upravljanja forkovima uz svaki novi upstream release. Za operatore koji skaliraju MoE inferenciju na Hopper klasterima, ovo je direktno primjenjivo poboljšanje dostupno kroz standardni vLLM upgrade ciklus.