PyTorch: 「免费归一化」将Layer Norm融合进GEMM和attention核——Meta瞄准降低大型模型训练成本
来自Meta的PyTorch团队发布了将归一化操作直接融合进GEMM和attention核的技术，旨在消除其计算开销——「免费归一化」。代码已通过核函数库在GitHub上开放，直接效果是加快频繁使用Layer Norm和RMS Norm操作的模型的训练和推理速度。
🤖
本文由人工智能基于一手来源生成。
来自Meta的PyTorch团队于2026年7月10日发布了「免费归一化」技术——将归一化操作直接融合进主要计算核。归一化（Layer Norm、RMS Norm）稳定模型各层之间的数值，对训练不可或缺，但执行频率极高，在大型模型规模上其开销不可忽视。
核融合意味着什么？
GPU核是在图形处理器上执行单一操作的程序块。传统上，归一化是独立的核：数据从内存读取、归一化处理后写回——然后由下一个操作再次读取。通过融合，归一化与矩阵乘法（GEMM）和attention操作合并为单个核，从而避免额外的内存读取过程。由于内存带宽（而非计算能力）往往是性能瓶颈，这一步骤接近于「免费」。
可用性与应用
代码通过核函数库（multi_cta_norm_fusion和gdpa_megakernel）在GitHub上以PyTorch生态系统的形式发布。直接效果是加速所有频繁执行归一化操作的模型的训练和推理——而这实际上涵盖了所有现代Transformer。与改变模型行为的算法改进不同，这是纯粹的性能优化：相同结果，消耗更少的计算周期。
为何这对成本重要
训练大型模型以数百万美元的GPU时间计费，因此核级别的每一个百分点节省都直接产生财务影响。此次发布契合同周的优化浪潮——PyTorch 2.13搭载新的CuTeDSL后端，以及AMD的FlyDSL——表明2026年的竞争不只是比拼更大的模型，也在于更经济地运行现有模型。
常见问题
- 什么是神经网络中的归一化？
- 稳定模型各层之间数值的操作（如Layer Norm或RMS Norm）；对训练不可或缺，但因执行频率极高而带来计算开销。
- 「融合进核」意味着什么？
- 将归一化与主要操作（矩阵乘法GEMM、attention）合并为单个GPU核，从而避免独立的内存读取过程并消除其开销。