vLLM：TML InklingへのDay-0サポート——GB200で1兆パラメータモデルが380トークン/秒を達成

vLLMとTML Inklingとは何か？

vLLM（大規模言語モデル推論用オープンソースエンジン）は、TML InklingへのDay-0サポートを公表しました——これは、システムの後続アップデートを待つことなく、新モデルの公開日当日から対応が提供されることを意味します。TML Inklingは1兆パラメータ（10¹²）を持つマルチモーダルモデルであり、公開されているモデルの中でも最も大規模なクラスに属します。比較として、GPT-4は約1.8兆パラメータと推定されており、現在のオープンソースモデルの多くは70億から700億パラメータです。

パフォーマンスはどの程度か？

4基のNVIDIA GB200 GPUにおいて、TML Inklingを搭載したvLLMは1ユーザーあたり毎秒380トークンを達成しました——このモデルの規模としては非常に優れた成果です。システムはMTP（multi-token prediction——1トークンずつではなく複数トークンを同時予測）を採用しており、テキストと画像の生成をさらに高速化しています。また、ロングコンテキスト推論や各種並列処理方式（テンソル並列・パイプライン並列）もサポートしており、複数GPUへのスケールアウトが可能です。

AI基盤開発における意義とは？

この統合はvLLMコアの修正を必要としません——TML Inklingは既存システム上でそのまま動作します。これは、すでにvLLMを利用している組織が追加のスタック改修なしに1兆パラメータのマルチモーダルモデルを直ちに本番運用できることを意味します。以前はこの規模のモデルに専用推論フレームワークや大規模なカスタマイズが必要だったことを考えると、この進展はフロンティアモデルの本番活用への障壁を大きく下げるものです。

出典：vLLM Blog