PyTorch: 'besplatna normalizacija' fuzira Layer Norm u GEMM i attention kernele — Meta cilja niži trošak treniranja velikih modela
PyTorch tim iz Mete objavio je tehnike za fuziranje normalizacijskih operacija izravno u GEMM i attention kernele, s ciljem uklanjanja njihova računalnog troška — 'free normalization'. Kod je dostupan na GitHubu kroz knjižnicu kernela, a izravna posljedica je brže treniranje i inference modela s čestim Layer Norm i RMS Norm operacijama.