PyTorch：Triton 3.7引入插件扩展与TLX——AMD MI350吞吐量提升最高+15%
PyTorch-Triton 3.7引入动态插件系统和Meta的TLX软件包。在H100上超越cuBLAS达+3.7%，在AMD MI350上相较rocBLAS实现最高+15%的吞吐量提升。
本文由人工智能基于一手来源生成。
Triton获得动态插件系统
Triton——用于编写GPU内核（执行特定计算操作的优化GPU程序）的开源编程语言——在3.7版本中通过环境变量TRITON_PLUGIN_PATHS引入了全新的扩展机制。这是一种动态插件系统，使开发团队能够在不重新编译Triton、不fork代码仓库的情况下添加自定义编译器通道和优化。关键在于：动态加载没有任何额外开销——代码生成与内置实现完全相同。
Meta的TLX：H100和AMD MI350上的可量化收益
作为新系统的参考实现，TLX（Triton Language Extensions）随之发布——这是Meta推出的独立库utlx，适用于NVIDIA和AMD生态系统。在H100 GPU上，搭载TLX的Triton在LLM工作负载中超越NVIDIA的cuBLAS达**+3.7%，达到573.2 TFLOPS**。cuBLAS是NVIDIA手工优化的线性代数库，长期被视为性能金标准。
AMD方面的收益更为显著：在AMD MI350 GPU上，TLX相较AMD的rocBLAS实现**+12–15%的吞吐量提升。GPUMode Trimul基准测试记录到1.61倍加速**——矩阵乘法耗时从19.2毫秒降至仅12.0毫秒。
这对AI生态系统意味着什么？
插件系统为TLX等此前难以触达最终用户的项目打开了大门，无需复杂的分发流程。与以往方案的区别在于理念的转变：团队不再需要fork Triton并手动集成优化，而是可以分发一个独立软件包，仅通过一个环境变量即可激活。对于在优化内核库方面历来落后于NVIDIA的AMD生态系统而言，MI350上+12–15%的提升是在LLM推理和训练场景中追赶NVIDIA性能的重要一步。
来源：PyTorch Blog
常见问题
- 在GPU编程语境中，Triton是什么？
- Triton是一种用于编写GPU内核的编程语言——即执行特定计算操作的优化GPU程序——无需编写原生CUDA或HIP代码。
- 使用新插件是否需要重新编译Triton？
- 不需要——新的动态插件系统无需重新编译或fork Triton项目即可加载扩展，且代码生成与内置实现完全相同。
📬 AI 新闻直达您的邮箱
按您的方式定制每日摘要——自选主题、来源和频率，一键退订。