AWS: P-EAGLE paralelno spekulativno dekodiranje ubrzava inferenciju do 3,97×
AWS je predstavio P-EAGLE, metodu paralelnog spekulativnog dekodiranja koja predviđa sve spekulativne tokene u jednom prolazu modela. Na Qwen3-Coder-30B-A3B i NVIDIA B200 u FP8, P-EAGLE postiže 1.167 tokena u sekundi naspram 955 za EAGLE-3 (+22%), a do 3,97× brže od baseline inferencije na HumanEvalu. Predtrenirane P-EAGLE glave dostupne su za GPT-OSS-120B, GPT-OSS-20B, Qwen3-Coder-30B-A3B i Gemma-4-31B na Amazon SageMaker AI.