AMD：MI300X上の投機的デコーディングが推論を4.3倍高速化

AMDは自社のROCmブログで、Instinct MI300Xアクセラレータ上での投機的デコーディングの実装を公開しました。投機的デコーディングは大規模言語モデルの推論を高速化する技術で、より小さいドラフトモデルがトークン列を予測し、より大きいターゲットモデルがそれを並列に検証します。これにより、出力品質を損なうことなく、トークンごとの遅い生成を回避します。

システムはどのように構成されましたか？

AMDはドラフトモデルとしてLlama-3.2-1B-Instructを、ターゲットモデルとしてLlama-3.1-70B-Instructを使用しました。分散は5基のMI300X GPUにまたがり、4基が大きなターゲットモデルの分割用、1基がドラフトモデル専用です。ソフトウェア層はROCm 7.2、PyTorch 2.9.1、FlashInferで構成され、すべて自動化された準備を備えたDocker環境内で動作します。

高速化はどの程度ですか？

alpaca、c4、ultrafeedback、humanevalの各ベンチマークでの測定は、明確な利得を示しました。自己回帰生成は毎秒52.32トークン、標準的な投機的デコーディングは138.06、そして高度なバリアントは毎秒225.86トークンに達しました。これは基本的なアプローチより4.32倍、従来の投機的デコーディングより1.64倍高速な生成を意味します。

なぜこれが重要なのですか？

より高いスループットは、モデルのサービング費用とユーザー向けのレイテンシーを直接的に削減します。このデモは、AMDのハードウェアが成熟したROCmソフトウェアスタックと組み合わさることで、これまで競合プラットフォームに結びついていた高速化技術を提供できることを示しています。