arXiv:2606.05610: Vorhersagbare Skalierungsgesetze für Hyperparameter beim Continued Pre-Training

Eine am 4. Juni 2026 auf arXiv (Kennung 2606.05610) veröffentlichte wissenschaftliche Arbeit stellt ein Framework vor, das mit empirischen Skalierungsgesetzen die optimalen Hyperparameter während des Continued Pre-Trainings (continued pre-training) großer Sprachmodelle vorhersagt. Ziel ist es, die teure, manuelle Hyperparameter-Suche durch vorhersagbare, berechenbare Regeln zu ersetzen.

Was ist Continued Pre-Training und worin besteht das Problem?

Continued Pre-Training (CPT) ist eine Phase, in der ein bereits trainiertes LLM zusätzlich auf einem neuen Korpus vortrainiert wird — etwa zur Anpassung an eine bestimmte Domäne, Sprache oder ein Datenregime. Anders als beim Training von Grund auf startet es von vorhandenen Gewichten, was ändert, wie Hyperparameter wie die Lernrate oder der Zeitplan einzustellen sind. Bisher wurden diese Hyperparameter meist experimentell gesucht, was rechnerisch teuer und unzuverlässig ist, da die optimalen Einstellungen von der Rechenmenge und den Merkmalen des Modells abhängen.

Wie sagt das Framework die Hyperparameter voraus?

Die Arbeit bietet einen zweistufigen Ansatz auf Basis empirischer Skalierungsgesetze — mathematischer Zusammenhänge, die die Rechenmenge mit dem Verhalten des Modells verbinden. In der ersten Stufe werden Funktionen abgeleitet, die Compute (Rechenressourcen) auf optimale Einstellungen abbilden, und zwar mithilfe von Proxy-Modellen. Proxy-Modelle sind kleinere, günstigere Modelle, die zur Kalibrierung der Gesetze dienen, bevor das Ergebnis auf das angestrebte, größere Modell extrapoliert wird. So werden die optimalen Einstellungen im Voraus geschätzt, statt sie erschöpfend zu suchen.

Was ist „äquivalenter Pre-Training-Compute”?

Die zweite Stufe führt eine Schätzung des äquivalenten Pre-Training-Computes aus dem Validierungsverlust (validation loss) eines Checkpoints ein. Die Idee ist, dass der aktuelle Zustand des Modells — erfasst über seinen Verlust auf einem Validierungsdatensatz — in eine Größe übersetzt wird, die ausdrückt, wie viel „äquivalentes” Vortraining dieser Checkpoint darstellen würde. Diese Schätzung verbindet den tatsächlichen Zustand des Modells mit den Skalierungsgesetzen aus der ersten Stufe und ermöglicht so eine präzisere Wahl der Einstellungen für die Fortsetzung des Trainings ohne erneute teure Suche.

Wie stark werden die Kosten gesenkt?

Der praktische Wert des Frameworks liegt in der Einsparung. Die Autoren geben an, dass der Ansatz vergleichbare oder bessere Leistung bei einer Senkung der Kosten der Hyperparameter-Suche um bis zu 90 % erzielt. Das ist bedeutsam, da die Hyperparameter-Suche bei großen Modellen einen erheblichen Teil des gesamten Trainingsbudgets verbrauchen kann. Mit vorhersagbaren Regeln wird dieser Aufwand weitgehend eliminiert, während die Qualität des Ergebnisses auf dem Niveau manuell gefundener Einstellungen oder darüber bleibt.

Warum ist die Modellagnostik wichtig?

Das Framework wird als modellagnostisch beschrieben — es ist nicht an eine einzige Architektur oder ein bestimmtes Modell gebunden, sondern lässt sich breiter auf verschiedene LLMs anwenden. Das erhöht seinen Nutzen in der Praxis, da ein Team, das Continued Pre-Training betreibt, die Methodik nicht für jedes Modell neu entwickeln muss. In Kombination mit dem zweistufigen Verfahren und den empirischen Skalierungsgesetzen bietet das Framework ein systematisches, übertragbares Rezept für eine günstigere und vorhersagbarere Anpassung großer Modelle an neue Daten.