PyTorch: 'besplatna normalizacija' fuzira Layer Norm u GEMM i attention kernele — Meta cilja niži trošak treniranja velikih modela

PyTorch tim, s inženjerima iz Mete, objavio je 10. srpnja 2026. tehnike za “besplatnu normalizaciju” — fuziranje normalizacijskih operacija izravno u glavne računalne kernele. Normalizacija (Layer Norm, RMS Norm) stabilizira vrijednosti između slojeva modela i nužna je za treniranje, ali se izvodi izuzetno često, pa njezin overhead nije zanemariv na razini velikih modela.

Što znači fuziranje kernela?

GPU kernel je programski blok koji izvršava jednu operaciju na grafičkom procesoru. Klasično, normalizacija je zaseban kernel: podaci se čitaju iz memorije, normaliziraju i vraćaju — prije nego ih sljedeća operacija ponovno pročita. Fuziranjem se normalizacija spaja s množenjem matrica (GEMM) i attention operacijama u jedan kernel, čime se izbjegava dodatni prolaz kroz memoriju. Budući da je propusnost memorije, a ne računska snaga, često usko grlo, taj se korak približava “besplatnom”.

Dostupnost i primjena

Kod je objavljen na GitHubu kroz knjižnicu kernela (multi_cta_norm_fusion i gdpa_megakernel), u sklopu PyTorch ekosustava. Izravna posljedica je brže treniranje i inference svih modela s čestim normalizacijskim operacijama — a to su praktički svi moderni transformeri. Za razliku od algoritamskih poboljšanja koja mijenjaju ponašanje modela, ovo je čista optimizacija izvedbe: isti rezultat, manje potrošenih ciklusa.

Zašto je važno za trošak

Treniranje velikih modela mjeri se u milijunima dolara GPU vremena, pa svaki postotak uštede na razini kernela ima izravan financijski učinak. Objava se uklapa u val optimizacija istog tjedna — PyTorch 2.13 s novim CuTeDSL backendom i AMD-ov FlyDSL — koji pokazuje da se utrka 2026. ne vodi samo za veće modele, nego i za jeftinije izvršavanje postojećih.