arXiv:2607.14541: Atrex-Bench揭示LLM生成的GPU内核仅达到目标硬件速度的10%
Atrex-Bench是一个新的基准测试，包含来自生产推理轨迹的30个算子和440种形状，用于测试LLM生成GPU内核的质量。在6个受评估的编程代理中，即便是表现最好的也仅达到硬件理论峰值（roofline）的约10%，因此研究团队在发布该基准测试的同时，也推出了Atrex-Kernel-Agent代理。
🤖
本文由人工智能基于一手来源生成。
Atrex-Bench是什么，它衡量什么？
Atrex-Bench是由Lingyun Yang及其合作者提出的基准测试，用于测试GPU内核的质量——GPU内核是直接在图形处理器上执行具体操作（例如矩阵乘法）的底层代码。该基准测试使用了从真实生产推理轨迹（trace）中收集的30个算子和440种形状，而非无法反映真实工作负载的合成测试。
LLM生成的代码相对于手工优化的最优水平有多快？
研究评估了6个前沿编程代理，结果揭示了一个问题：即便是表现最好的”原生”（vanilla）模型，在生产环境算子上也仅能达到硬件理论峰值（roofline，硬件性能的理论最大值）的约10%。与手工优化的生产基线相比，差距巨大：此前评估中较高的通过率数字部分具有误导性，因为它们常常反映的是PyTorch回退代码，而非真正生成的LLM内核。
解决方案：Atrex-Kernel-Agent与知识库
研究团队与基准测试一起推出了Atrex-Kernel-Agent（AKA），这是一个采用”optimization dropout”技术、并配备298个参考内核文件和244份优化文档知识库的代理。AKA能将无法运行的回退代码转变为与手工优化基线相当的内核。该基准测试与代理均已开源发布。
常见问题
- GPU内核是什么，为什么它难以自动生成？
- GPU内核是直接在图形处理器上执行具体操作的底层代码；它之所以难以生成，是因为必须贴合硬件架构，而不仅仅是逻辑上的正确性。
- LLM生成的代码相对于手工优化的最优水平能达到多快？
- 即便是表现最好的原生（vanilla）模型，在生产环境算子上也仅能达到硬件理论峰值（roofline）的约10%，而Atrex-Kernel-Agent能将这些回退内核转变为与手工优化基线相当的代码。
来源
📬 AI 新闻直达您的邮箱
按您的方式定制每日摘要——自选主题、来源和频率，一键退订。