AMD：GEAK智能体自动优化DeepSeek-V4 MLA内核，MI355上实现最高9倍加速

AMD发布了将GEAK智能体——AI驱动的GPU内核自动生成和优化系统——应用于在AMD MI355加速器上运行的DeepSeek-V4模型的结果。从PyTorch到Triton的自动化迁移带来了手动优化在可比时间内难以实现的加速。

MLA和Triton——核心概念

**MLA（多头潜在注意力）**是DeepSeek-V4用于大幅降低与经典多头注意力相比的KV缓存成本的内存高效注意力机制变体——是该模型的关键创新，但对硬件优化要求很高。Triton是一种用于编写GPU内核的编程语言，直接针对加速器的硬件特性；与通用PyTorch不同，Triton代码可以利用AMD MI355架构的特定内存层次特性。GEAK智能体正是自动化了这一转换——无需手动编写Triton代码。

具体加速：预填充、解码和端到端

AMD MI355上的测量显示推理各阶段都有明显的收益。在预填充阶段（处理输入提示），与原始PyTorch实现相比，配置1加速9.13倍，配置2加速6.92倍。在解码阶段（生成token），26种不同配置的几何平均加速为4.94倍。在SGLang框架中，GEAK端到端带来2.10倍吞吐量提升和3.71倍更小的TTFT（首token时间——生成第一个词的时间），这是用户体验的关键参数。

SGLang集成和精度验证

与SGLang框架的集成显示端到端提升16%–110%，具体取决于并发级别（2到32个并发请求）——更高的并发带来相对更大的收益。精度验证结果特别重要：所有304个预填充和4,748个解码测试用例均通过，没有任何回归。加速不是通过近似或牺牲精度实现的，而是纯粹的硬件内核优化。GEAK因此证明了AI辅助GPU代码优化可以取代数周的手动工程工作。