AdaMeZO: Adam-Stil LLM-Fine-Tuning ohne Speicherung von Gradientenmomenten im GPU-Speicher

Die Forscher Zhijie Cai, Haolong Chen und Guangxu Zhu stellen AdaMeZO vor, einen Optimierer nullter Ordnung, der die Vorteile des populären Adam-Algorithmus ins Fine-Tuning großer Sprachmodelle bringt — ohne Gradientenmomente im GPU-Speicher ablegen zu müssen.

Warum ist GPU-Speicher beim LLM-Fine-Tuning ein Engpass?

Der Standard-Adam-Optimierer, der routinemäßig für das Training neuronaler Netze verwendet wird, verfolgt zwei Statistiken pro Modellparameter: den ersten Moment (gleitender Mittelwert der Gradienten) und den zweiten Moment (gleitender Mittelwert der quadrierten Gradienten). Bei Modellen mit Milliarden von Parametern verdreifacht dies den Speicherbedarf. MeZO, ein früherer Ansatz, der ausschließlich Vorwärtsdurchläufe ohne echte Gradientenberechnung nutzt, löst das Speicherproblem — konvergiert jedoch langsamer, da eine parameterspezifische adaptive Lernratenanpassung fehlt.

Wie kombiniert AdaMeZO beide Ansätze?

AdaMeZO schätzt Adams Momente, ohne sie dauerhaft zu speichern: Es verwendet zufällige Gewichtsperturbationen und misst Verluständerungen, um adaptives Momentverhalten on-the-fly für jeden Optimierungsschritt zu rekonstruieren. Das Ergebnis ist ein Optimierer, der sich wie Adam verhält — die Lernrate entsprechend der geschätzten Verlustflächengeometrie anpassend — während der Speicherbedarf dem von MeZO entspricht.

Was zeigen die Trajektorienvisualisierungen?

Die Autoren präsentieren Visualisierungen von Optimierungstrajektorien auf verschiedenen Verlustflächen, die zeigen, wie AdaMeZO flache und gekrümmte Bereiche des Parameterraums adaptiv navigiert — im Gegensatz zum gleichmäßigeren Verhalten von MeZO. Quantitativ erreicht AdaMeZO bis zu 70 % weniger Vorwärtsdurchläufe für dasselbe Leistungsniveau, mit verbesserter Konvergenz gegenüber dem ursprünglichen MeZO.