PyTorch: TokenSpeed postiže rekordnih 580 token/s na Qwen3.5-397B-A17B s NVIDIA Blackwell GPU-ima
TokenSpeed, open-source LLM inference engine LightSeek Foundationa s MIT licencom, postigao je 580 tokena u sekundi na Qwen3.5-397B-A17B modelu koristeći osam NVIDIA Blackwell B200 GPU-a u TP8 konfiguraciji. Rekord je ostvaren za agentičke workloade s prefix cachingom i preklapanjem CPU-GPU izvođenja, uz manje od 16% degradacije performansi i pri kontekstu od 1 milijun tokena.
Ovaj članak generiran je uz pomoć umjetne inteligencije na temelju primarnih izvora.
LightSeek Foundation objavio je rezultate TokenSpeed inference enginea koji je postavio novi rekord propusnosti za Qwen3.5-397B-A17B model: 580 tokena u sekundi u konfiguraciji s osam NVIDIA Blackwell B200 GPU-a (TP8, Tensor Parallelism faktor 8).
Što je TokenSpeed i čime se razlikuje od vLLM-a?
TokenSpeed je open-source LLM inference engine dostupan pod MIT licencom, kojeg razvija LightSeek Foundation. Dizajniran je s filozofijom “speed-of-light” performansi — cilj je postići performanse usporedive s NVIDIA TensorRT-LLM, uz razvojnu ergonomiju karakterističnu za vLLM. Temelji se na nativnom SPMD (Single Program, Multiple Data) pristupu i statičkoj kompilaciji računskog grafa.
Model Qwen3.5-397B-A17B na kojem je postignut rekord koristi hibridnu arhitekturu pažnje koja kombinira standardne full-attention slojeve s linearnim attention slojevima zasnovanim na Gated Delta Network (GDN) mehanizmu.
Koje su ključne optimizacije iza rekorda?
TokenSpeed postiže visoku propusnost kroz nekoliko tehničkih inovacija:
Hibridni prefix caching za GDN/Mamba: Predmemoriranje konteksta podijeljeno je između C++ sloja (logička predmemorija) i Pythonovog sloja (fizički tenzori). Radix-tree matching s MambaSlot dodacima omogućuje ponovnu upotrebu stanja s copy-on-write semantikom. Rezultat: KV cache hit rate veći od 90% u agentičkim workloadima s višestrukim okretima razgovora.
Mamba State Update optimizacija: Eliminirano je međukopiranjeStanja korištenjem indeksne indirekcije umjesto rasipanja tenzora — operacija ažuriranja pada s O(L·D) na O(1) za pointer update.
Prefill-Decode disaggregacija: Faze punjenja konteksta i generiranja tokena razdvojene su s unified state transferom, trofaznim handshakeom i preklapanjem mrežne komunikacije s ranim slojevima izvođenja.
CUDA graph snimanje: Cijela decode petlja snimljena je kao CUDA graph, čime se eliminira overhead pokretanja svakog kernela zasebno.
Kako se TokenSpeed nosi s dugim kontekstima?
TokenSpeed pokazuje iznimnu stabilnost propusnosti pri dugim kontekstima na NVIDIA Blackwell B200 GPU-ima s NVFP4 kvantizacijom:
| Duljina konteksta | Propusnost |
|---|---|
| 128K tokena | ~530 tok/s |
| 256K tokena | ~495 tok/s |
| 1M tokena | ~445 tok/s |
Pad od samo ~16% pri prelasku s 128K na 1M tokena znači da TokenSpeed ostaje praktičan i za ekstremo duge agentic sessione koji su inače zahtjevni za inference sustave.
Rezultati agentičkih workloada
U benchmarku koji simulira realne agentičke workloade (50K tokena prvog okreta + 800 tokena po svakom sljedećem, 10-15 okreta razgovora) TokenSpeed postiže:
- TP8: ~580 tok/s (jedan korisnik, peak)
- TP4: 500+ tok/s (jedan korisnik)
- 16 korisnika paralelno (TP4): ~2K tok/min po GPU-u
TokenSpeed podržava i Flash Attention 4 (FA4) s head dim=256 na Blackwell arhitekturi, što je trenutno u aktivnom razvoju. Projekt je dostupan na GitHubu i otvorena je zajednica za doprinose.
Česta pitanja
- Što je TokenSpeed i tko ga razvija?
- TokenSpeed je open-source LLM inference engine s MIT licencom koji razvija LightSeek Foundation. Cilj mu je postići performanse usporedive s TensorRT-LLM uz razvojnu ergonomiju vLLM-a, koristeći nativni SPMD pristup i statičku kompilaciju.
- Kako TokenSpeed postiže 580 token/s na Qwen3.5-397B-A17B?
- Kombinacijom prefix cachinga (KV hit rate >90%), preklapanja prefill i decode faza, Mamba State Update optimizacije koja eliminira kopiranje stanja, i CUDA graph snimanjem decode petlje. Sve zajedno smanjuje overhead po koraku na minimum.
- Koliko degradiraju performanse TokenSpeeda pri dugom kontekstu?
- Minimalno — pri prelasku s 128K na 1M tokena konteksta, propusnost pada tek s ~530 na ~445 token/s, što je degradacija od samo ~16%.
📬 AI vijesti u tvoj inbox
Dnevni digest po tvojoj mjeri — biraš teme, izvore i ritam. Odjava jednim klikom.
Povezane vijesti
AMD: hipVS — GPU vektorska pretraga za Instinct, cuVS-kompatibilna, s demoom agentnog RAG-a
NVIDIA: performansa po vatu kao ključna metrika — Blackwell GB300 do 25× efikasniji od Hoppera
AMD: GEAK agent automatski optimizirao DeepSeek-V4 MLA kernel na MI355 uz do 9× ubrzanje