PyTorch: 『무료 정규화』로 Layer Norm을 GEMM·어텐션 커널에 융합 — Meta, 대규모 모델 학습 비용 절감 목표

Meta 엔지니어들과 함께한 PyTorch 팀은 2026년 7월 10일 『무료 정규화』 기법을 발표했습니다. 정규화 연산을 주요 계산 커널에 직접 융합하는 기술입니다. 정규화(Layer Norm, RMS Norm)는 모델 레이어 사이에서 값을 안정화하며 학습에 필수적이지만, 매우 자주 실행되므로 대규모 모델에서 그 오버헤드는 무시할 수 없습니다.

커널 융합이란 무엇입니까?

GPU 커널은 그래픽 프로세서에서 하나의 연산을 실행하는 프로그램 블록입니다. 전통적으로 정규화는 별도의 커널입니다. 데이터가 메모리에서 읽혀 정규화된 후 반환되고, 다음 연산이 다시 읽습니다. 융합을 통해 정규화가 행렬 곱(GEMM) 및 어텐션 연산과 하나의 커널로 결합되어 추가적인 메모리 패스가 제거됩니다. 메모리 대역폭이 계산 능력이 아닌 병목인 경우가 많기 때문에, 이 단계는 『무료』에 가까워집니다.

가용성과 적용

코드는 PyTorch 생태계의 커널 라이브러리(multi_cta_norm_fusion 및 gdpa_megakernel)를 통해 GitHub에 공개되어 있습니다. 직접적인 효과는 정규화 연산이 빈번한 모든 모델 — 사실상 현대의 모든 트랜스포머 — 의 학습과 인퍼런스 속도 향상입니다. 모델 동작을 변경하는 알고리즘 개선과 달리, 이것은 순수한 성능 최적화입니다. 동일한 결과를 더 적은 사이클로 달성합니다.

비용 측면에서 왜 중요합니까?

대규모 모델 학습은 수백만 달러의 GPU 시간으로 측정되므로, 커널 수준에서의 몇 퍼센트 절감도 직접적인 재무적 영향을 가집니다. 이 발표는 새 CuTeDSL 백엔드가 포함된 PyTorch 2.13과 AMD의 FlyDSL 등 같은 주의 최적화 흐름에 자리합니다. 2026년의 경쟁이 더 큰 모델뿐 아니라 기존 모델을 더 저렴하게 실행하는 것으로도 벌어지고 있음을 보여줍니다.