AMD：MI300X上的推测解码将推理加速4.3倍

AMD在其ROCm博客上发布了在Instinct MI300X加速器上实现推测解码的方案。推测解码是一种加速大型语言模型推理的技术，由较小的draft模型预测一串token，较大的目标模型随后并行验证它们。这避免了逐个token的缓慢生成，且不损失输出质量。

系统是如何搭建的？

AMD使用Llama-3.2-1B-Instruct作为draft模型，Llama-3.1-70B-Instruct作为目标模型。分布跨越五块MI300X GPU：四块用于切分大型目标模型，一块专用于draft模型。软件层由ROCm 7.2、PyTorch 2.9.1以及FlashInfer构成，全部运行在带有自动化准备流程的Docker环境中。

加速幅度有多大？

在alpaca、c4、ultrafeedback和humaneval基准上的测量显示出明显的收益。自回归生成达到每秒52.32个token，标准推测解码为138.06，而进阶变体高达每秒225.86个token。这意味着比基础方法快4.32倍，比传统推测解码快1.64倍。

这为什么重要？

更高的吞吐量直接降低了模型服务成本和用户延迟。该演示表明，AMD硬件配合成熟的ROCm软件栈，能够交付此前与竞争平台绑定的加速技术。