AWS:P-EAGLEの並列スペキュラティブデコーディングで推論を最大3.97倍高速化
AWSはP-EAGLEを発表しました。これはモデルの1回のフォワードパスですべての投機トークンを予測する並列スペキュラティブデコーディング手法です。Qwen3-Coder-30B-A3BとNVIDIA B200のFP8精度において、P-EAGLEはHumanEvalでEAGLE-3の955トークン/秒に対して1167トークン/秒を達成(+22%)し、ベースライン推論と比べて最大3.97倍高速です。事前学習済みP-EAGLEヘッドはAmazon SageMaker AI上でGPT-OSS-120B、GPT-OSS-20B、Qwen3-Coder-30B-A3B、Gemma-4-31Bに対応しています。