PyTorch：TokenSpeedがNVIDIA Blackwell GPUでQwen3.5-397B-A17Bの580トークン/秒という記録を達成
LightSeek FoundationのオープンソースLLM推論エンジン（MITライセンス）TokenSpeedが、TP8構成で8台のNVIDIA Blackwell B200 GPUを使用してQwen3.5-397B-A17Bモデルで毎秒580トークンを達成しました。この記録は、プレフィックスキャッシングとCPU-GPU実行のオーバーラップを備えたエージェント的ワークロードで達成され、100万トークンのコンテキストでも16%未満のパフォーマンス低下を示しています。
🤖
この記事はAIにより一次情報源から生成されました。
LightSeek FoundationがTokenSpeed推論エンジンをリリースしました。8台のNVIDIA Blackwell B200 GPU（TP8）で毎秒580トークンという新記録を達成しています。
TokenSpeedとは何か、vLLMとの違い
TokenSpeedはオープンソースのLLM推論エンジン（MITライセンス）で、LightSeek Foundationが開発しています。目標：NVIDIA TensorRT-LLMのようなパフォーマンスとvLLMの使いやすさの両立。SPMDアプローチと静的コンパイルを基盤としています。Qwen3.5-397B-A17BはGated Delta Network（GDN） メカニズムを備えたハイブリッドアテンションアーキテクチャを使用しています。
主要な最適化
- GDN/Mamba向けハイブリッドプレフィックスキャッシング：KVキャッシュヒット率 90%以上
- Mamba状態更新：ポインタ更新がO(L·D)からO(1)に低減
- プリフィル・デコード分離：通信オーバーラップによる3フェーズハンドシェイク
- CUDAグラフ記録：カーネル起動オーバーヘッドを排除
長いコンテキストでの安定性
| コンテキスト | スループット |
|---|---|
| 128K | 約530 tok/s |
| 256K | 約495 tok/s |
| 1M | 約445 tok/s |
128Kから1Mトークンへの移行でわずか**約16%**の低下。
よくある質問
- TokenSpeedはvLLMとどのように異なりますか？
- TokenSpeedはNVIDIA TensorRT-LLMのパフォーマンスとvLLMの使いやすさを目指すオープンソース推論エンジンです。SPMDアプローチと静的コンパイルを基盤とし、Gated Delta Network（GDN）メカニズムを持つハイブリッドアテンションアーキテクチャをサポートします。
- 長いコンテキストでの安定性はどのくらいですか？
- 128Kから1Mトークンへのコンテキスト増加でもパフォーマンス低下はわずか16%（約530tok/sから約445tok/s）で、長文コンテキストでの高い安定性を示しています。
📬 AIニュースをあなたの受信箱へ
毎日のダイジェストを自分仕様に——トピック、ソース、頻度を選べます。ワンクリックで解除。