PyTorch：TokenSpeed在NVIDIA Blackwell GPU上以Qwen3.5-397B-A17B实现580 token/s创纪录速度

LightSeek Foundation发布了TokenSpeed推理引擎的结果，为Qwen3.5-397B-A17B模型创造了新的吞吐量记录：在八块NVIDIA Blackwell B200 GPU（TP8，张量并行系数8）配置下实现每秒580个令牌。

TokenSpeed是什么，与vLLM有何不同？

TokenSpeed是MIT许可的开源LLM推理引擎，由LightSeek Foundation开发。其设计理念是「光速」性能——目标是实现与NVIDIA TensorRT-LLM相当的性能，同时具有vLLM特有的开发人体工程学。基于原生SPMD（单程序多数据）方法和计算图的静态编译。

创下记录的Qwen3.5-397B-A17B模型使用混合注意力架构，结合标准完整注意力层和基于**门控增量网络（GDN）**机制的线性注意力层。

记录背后的关键优化有哪些？

TokenSpeed通过多项技术创新实现高吞吐量：

GDN/Mamba混合前缀缓存：上下文预缓存在C++层（逻辑缓存）和Python层（物理张量）之间分割。带MambaSlot扩展的基数树匹配支持使用写时复制语义重用状态。结果：多轮智能体工作负载中KV缓存命中率超过90%。

Mamba状态更新优化：通过使用索引间接而非张量散射消除状态间复制——更新操作从O(L·D)降至O(1)的指针更新。

预填充-解码分离：上下文填充和令牌生成阶段通过统一状态传输、三阶段握手和网络通信与早期执行层重叠实现分离。

CUDA图捕获：整个解码循环被捕获为CUDA图，消除了单独启动每个内核的开销。

TokenSpeed如何处理长上下文？

TokenSpeed在NVIDIA Blackwell B200 GPU和NVFP4量化下展示了出色的吞吐量稳定性：

上下文长度	吞吐量
128K令牌	约530 tok/s
256K令牌	约495 tok/s
100万令牌	约445 tok/s

从128K到100万令牌仅**约16%**的下降意味着TokenSpeed对于通常对推理系统要求苛刻的超长智能体会话仍然实用。

智能体工作负载结果

在模拟真实智能体工作负载的基准测试中（第一轮5万令牌 + 每后续轮800令牌，10-15轮对话），TokenSpeed实现：

• TP8：约580 tok/s（单用户，峰值）
• TP4：500+ tok/s（单用户）
• 16个并发用户（TP4）：每GPU约每分钟2,000个令牌

TokenSpeed还支持Blackwell架构上head dim=256的Flash Attention 4（FA4），目前正在积极开发中。该项目在GitHub上可用，欢迎社区贡献。