AWS: P-EAGLE paralleles spekulatives Dekodieren beschleunigt Inferenz um bis zu 3,97×
AWS stellte P-EAGLE vor, eine Methode des parallelen spekulativen Dekodierens, die alle spekulativen Token in einem einzigen Modelldurchlauf vorhersagt. Auf Qwen3-Coder-30B-A3B und NVIDIA B200 in FP8 erreicht P-EAGLE 1.167 Token pro Sekunde gegenüber 955 für EAGLE-3 (+22%) und bis zu 3,97× schneller als die Basis-Inferenz auf HumanEval. Vortrainierte P-EAGLE-Köpfe sind für GPT-OSS-120B, GPT-OSS-20B, Qwen3-Coder-30B-A3B und Gemma-4-31B auf Amazon SageMaker AI verfügbar.