PyTorch: TokenSpeed erreicht Rekord 580 Token/s auf Qwen3.5-397B-A17B mit NVIDIA Blackwell GPUs

Die LightSeek Foundation veröffentlichte Ergebnisse der TokenSpeed-Inferenz-Engine, die einen neuen Durchsatzrekord für das Qwen3.5-397B-A17B-Modell aufgestellt hat: 580 Token pro Sekunde in einer Konfiguration mit acht NVIDIA Blackwell B200 GPUs (TP8, Tensor-Parallelismus-Faktor 8).

Was ist TokenSpeed und wie unterscheidet es sich von vLLM?

TokenSpeed ist eine Open-Source-LLM-Inferenz-Engine unter MIT-Lizenz, entwickelt von der LightSeek Foundation. Es wurde mit einer „Speed-of-Light”-Leistungsphilosophie konzipiert — das Ziel ist es, mit NVIDIA TensorRT-LLM vergleichbare Leistung zu erzielen, mit der für vLLM charakteristischen Entwicklerfreundlichkeit. Es basiert auf einem nativen SPMD-Ansatz (Single Program, Multiple Data) und statischer Berechnungsgraph-Kompilierung.

Das Qwen3.5-397B-A17B-Modell, auf dem der Rekord erzielt wurde, verwendet eine hybride Aufmerksamkeitsarchitektur, die Standard-Full-Attention-Schichten mit linearen Attention-Schichten auf Basis des Gated Delta Network (GDN)-Mechanismus kombiniert.

Was sind die wichtigsten Optimierungen hinter dem Rekord?

TokenSpeed erzielt hohen Durchsatz durch mehrere technische Innovationen:

Hybrides Prefix-Caching für GDN/Mamba: Das Kontext-Caching ist zwischen einer C++-Schicht (logischer Cache) und einer Python-Schicht (physische Tensoren) aufgeteilt. Radix-Tree-Matching mit MambaSlot-Erweiterungen ermöglicht die Zustandswiederverwendung mit Copy-on-Write-Semantik. Ergebnis: KV-Cache-Trefferrate von über 90% bei agentischen Workloads mit mehreren Gesprächsrunden.

Mamba State Update-Optimierung: Das schrittweise Zustandskopieren wird durch Index-Indirektion statt Tensor-Scatter eliminiert — die Update-Operation sinkt von O(L·D) auf O(1) für Pointer-Updates.

Prefill-Decode-Disaggregation: Die Kontext-Füll- und Token-Generierungsphasen werden mit einheitlichem Zustandstransfer, einem dreiphasigen Handshake und Überlappung der Netzwerkkommunikation mit frühen Ausführungsschichten getrennt.

CUDA-Graph-Aufzeichnung: Die gesamte Decode-Schleife wird als CUDA-Graph aufgezeichnet, wodurch der Overhead des separaten Startens jedes Kernels eliminiert wird.

Wie geht TokenSpeed mit langen Kontexten um?

TokenSpeed zeigt außergewöhnliche Durchsatzstabilität bei langen Kontexten auf NVIDIA Blackwell B200 GPUs mit NVFP4-Quantisierung:

Kontextlänge	Durchsatz
128K Token	~530 Tok/s
256K Token	~495 Tok/s
1M Token	~445 Tok/s

Ein Rückgang von nur ~16% beim Übergang von 128K auf 1M Token bedeutet, dass TokenSpeed auch für extrem lange agentische Sitzungen praktikabel bleibt, die sonst für Inferenzsysteme anspruchsvoll sind.

Ergebnisse agentischer Workloads

In einem Benchmark, der reale agentische Workloads simuliert (50K Token im ersten Zug + 800 Token pro folgendem Zug, 10-15 Gesprächsrunden), erreicht TokenSpeed:

• TP8: ~580 Tok/s (einzelner Nutzer, Peak)
• TP4: 500+ Tok/s (einzelner Nutzer)
• 16 parallele Nutzer (TP4): ~2K Tok/min pro GPU

TokenSpeed unterstützt auch Flash Attention 4 (FA4) mit Head-Dim=256 auf der Blackwell-Architektur, was sich derzeit in aktiver Entwicklung befindet. Das Projekt ist auf GitHub verfügbar und die Community ist offen für Beiträge.