AWS:P-EAGLE 병렬 추측 디코딩으로 추론 속도 최대 3.97배 향상
AWS가 P-EAGLE을 발표했습니다. 단일 모델 순전파에서 모든 추측 토큰을 예측하는 병렬 추측 디코딩 방법입니다. Qwen3-Coder-30B-A3B와 NVIDIA B200 FP8 정밀도에서 P-EAGLE은 HumanEval 기준 EAGLE-3의 955토큰/초 대비 1167토큰/초를 달성(+22%)하며, 기준 추론 대비 최대 3.97배 빠릅니다. 사전 학습된 P-EAGLE 헤드는 Amazon SageMaker AI에서 GPT-OSS-120B, GPT-OSS-20B, Qwen3-Coder-30B-A3B, Gemma-4-31B에 사용 가능합니다.