AWS：P-EAGLEの並列スペキュラティブデコーディングで推論を最大3.97倍高速化

AWSはAmazon SageMaker AI上で大型言語モデルの推論を大幅に高速化する並列スペキュラティブデコーディング手法P-EAGLEを発表しました。

スペキュラティブデコーディングとは何で、P-EAGLEは何を変えますか？

スペキュラティブデコーディングは、小型の「提案モデル」が複数のトークンを先読みし、メインモデルがトークンごとではなく一度にまとめて検証する技術です。従来のEAGLEはこれを逐次的に行っていました。P-EAGLEは学習済みの予約済み表現（プレースホルダー）を使用して、モデルの1回のフォワードパスですべての投機トークンを予測し、逐次的なボトルネックを解消します。

P-EAGLEはどれくらい速いですか？

Qwen3-Coder-30B-A3Bモデル、NVIDIA B200 GPU、FP8精度において、P-EAGLEはHumanEvalで毎秒1167トークンを達成し、EAGLE-3の955トークンに対して22%の改善となっています。毎秒294トークンのベースラインと比較すると、HumanEvalでは最大3.97倍、SPEED-Benchでは2.97倍の高速化となります。これはコード生成タスクにおける具体的な向上です。

実際にどう使いますか？

AWSはGPT-OSS-120B、GPT-OSS-20B、Qwen3-Coder-30B-A3B、Gemma-4-31B向けの事前学習済みP-EAGLEヘッドをAmazon SageMaker AI上で提供しています。これにより開発チームは提案モデルを自前でトレーニングすることなく推論を高速化でき、本番環境でのコストとレイテンシの削減に重要です。