PyTorch: „kostenlose Normalisierung” fusioniert Layer Norm in GEMM- und Attention-Kernel — Meta zielt auf niedrigere Trainingskosten großer Modelle
Das PyTorch-Team von Meta veröffentlichte Techniken zur Fusionierung von Normalisierungsoperationen direkt in GEMM- und Attention-Kernel, mit dem Ziel, deren Rechenkosten zu eliminieren — „kostenlose Normalisierung”. Der Code ist über eine Kernel-Bibliothek auf GitHub verfügbar; das direkte Ergebnis ist schnelleres Training und schnellere Inferenz bei Modellen mit häufigen Layer-Norm- und RMS-Norm-Operationen.