AWS:P-EAGLE并行推测解码将推理速度提升最高3.97倍
AWS推出了P-EAGLE,一种在单次模型前向传播中预测所有推测令牌的并行推测解码方法。在Qwen3-Coder-30B-A3B和NVIDIA B200 FP8精度下,P-EAGLE达到每秒1167个令牌,而EAGLE-3为955个(提升22%),在HumanEval上比基线推理最高快3.97倍。预训练的P-EAGLE头已在Amazon SageMaker AI上为GPT-OSS-120B、GPT-OSS-20B、Qwen3-Coder-30B-A3B和Gemma-4-31B提供支持。