vLLMとTencent HunyuanがNVIDIA Hopper GPU向け2つのHPCバックエンドをアップストリーム

Tencent Hunyuan AI InfraチームとvLLMチームが、2つの高性能バックエンドをメインストリームのvLLMプロジェクトにアップストリームした。HPC_ATTNアテンションバックエンドとhpc MoEバックエンドで、vLLMのフォークや修正なしにファーストクラスコンポーネントとして利用できる。この貢献は、産業チームが内部的な優位性として保持するのではなく、本番グレードのカーネル最適化を依存するオープンプロジェクトに直接アップストリームするという、稀なケースの一つだ。

vLLMエコシステムの2つの新HPCバックエンド

Tencent Network PlatformチームとHunyuan AI InfraチームおよびvLLM/Inferactメンテナーの間の協力は、現代のLLM推論における2つの慢性的なボトルネックを解決する。デコードフェーズの動的負荷分散とFP8 MoEルーティングのオーバーヘッドだ。両バックエンドはvLLMの標準的な登録メカニズムを通じて統合されている——アテンション用のPR #46020とMoEバックエンド用のPR #45924——つまりユーザーはコアの修正なしに設定パラメータで新しいバックエンドを選択できる。

バックエンドが検証されたリファレンスモデルはHy3。Tencent Hunyuanモデルで、総パラメータ数2,950億、活性化パラメータ数210億だ。モデルにはtop-8ルーティングの192エキスパート・64のクエリヘッドと8のKVヘッド・ヘッド次元128・256Kトークンのコンテキストウィンドウが含まれる。投機的デコードレイヤー（MTP）がさらに38億パラメータを追加する。

動的スケジューリングがアテンションにとって重要な理由

静的なsplit-KVスケジューラーはバッチ内でシーケンス長が均一であることを前提とする。本番環境ではそれが当てはまることはまれだ——短いリクエストと長いリクエストの混在は、長いシーケンスを処理している間に作業を終えたコンピュートユニットのアイドル待機を生む。結果はバッチ内の長さのばらつきに比例した無駄なGPUサイクルだ。

HPC_ATTNバックエンドはこの問題を解決する。per-step負荷分散デコードスケジューラーが、生成の現在のステップにおける各シーケンスの実際の長さに比例して64トークンタイルをコンピュートユニットに分散する。融合されたプロローグがRoPE回転・QK-Norm正規化・KV書き込み操作をこれらの操作間の冗長なメモリ読み書きを排除して単一のカーネルパスに統合する。

128Kトークンのシーケンス1本と4Kトークンのシーケンス31本の混合ワークロードで、動的スケジューラーは静的版に対して2.95倍のスピードアップを達成する。mixed-lengthデコードバッチでのFlashInferおよびFlashAttention実装に対する平均優位性は2.25倍だ。バックエンドはBF16とFP8精度をサポートする。

単一実行パスとしてのFP8 MoEパイプライン

標準的なMoE推論は一連の独立したカーネル呼び出しを経由する。ルーティング・Gate-Up GEMM・活性化関数・量子化・Down GEMM・top-k削減。カーネル間の各遷移はHigh Bandwidth Memory（HBM）への往復を意味し、デコード支配のワークロード——バッチが小さく、レイテンシが重要——では支配的なオーバーヘッドとなり、ハードウェアの実際の計算速度を覆い隠す。

hpcバックエンドはProgrammatic Dependent Launch（PDL）チェーニングを使用してそのパイプライン全体を単一の実行パスに融合する。ルーティングテーブルはHBMではなく共有メモリに保持され、フェーズ間でのエキスパートインデックスの高コストなフェッチを排除する。アーキテクチャはHopper世代のハードウェア能力と一致したFP8専用だ。

NVIDIA H20 GPUでの実測結果

エンドツーエンド測定はHy3モデルを使用した8×H20構成で実施された。最初のトークンまでの時間（TTFT）は平均**24%削減された。出力トークンあたりの時間（TPOT）は平均17%改善され、最大バッチサイズ64では改善が30%**に拡大する。

MoEバックエンドはTP8/EP1構成で最良のベースライン解決策（Triton/CUTLASS）より1.59倍低いレイテンシを達成し、TP1/EP8では1.21倍だ。優位性は小・中規模バッチサイズで最も顕著であり、最小レイテンシで少数の同時リクエストをサービスしなければならない典型的な本番デコードシナリオに対応する。

フォークなしの統合とHopper固有性

両バックエンドはHopperアーキテクチャのGPU専用だ——H20が最適なプラットフォームとして記載されている。PDLメカニズムとHopper固有の命令への依存は、旧アーキテクチャへの拡張が自明ではなく、発表もされていないことを意味する。

正式なPRプロセスを通じてアップストリームすることで、Tencent HunyuanチームはすべてのvLLMユーザーに、新しいアップストリームリリースごとのフォーク管理なしに最適化へのアクセスを与える貢献モデルに従っている。Hopperクラスター上でMoE推論をスケールするオペレーターにとって、これは標準的なvLLMアップグレードサイクルを通じて利用できる直接適用可能な改善だ。