arXiv:2606.06888: Pretraining bei Datenknappheit — das Skalierungsgesetz SoftQ und die MIR-Regularisierung

Forscher veröffentlichten am 5. Juni 2026 im arXiv-Repository eine Arbeit (Kennung arXiv:2606.06888), die sich mit dem Pretraining von Sprachmodellen unter Bedingungen befasst, in denen die verfügbare Rechenleistung (Compute) schneller wächst als die verfügbaren natürlichen Textdaten. Die Arbeit stellt zwei zentrale Neuerungen vor: die Regularisierungstechnik MIR und ein Skalierungsgesetz namens SoftQ.

Warum ist Datenknappheit überhaupt ein Problem?

Moderne Sprachmodelle werden mit immer größeren Mengen an Rechenleistung trainiert, doch die Menge an hochwertigem, einzigartigem Text im Internet ist nicht unbegrenzt. Wenn Compute schneller wächst als die verfügbaren Daten, sind Teams gezwungen, dieselben Daten mehrfach zu verwenden, was als Datenwiederholung (data repetition) bezeichnet wird.

Das Problem dabei ist, dass die Wiederholung derselben Beispiele zu Overfitting führt — das Modell beginnt, sich die Daten zu merken, statt zu lernen, zu generalisieren. Die Arbeit arXiv:2606.06888 zielt genau auf dieses Szenario ab und schlägt Methoden vor, die mehr nützliche Information aus einem begrenzten Datensatz herausholen.

Was ist die Masked-Input-Regularisierung (MIR)?

Der zentrale Beitrag der Arbeit ist MIR (Masked-Input-Regularisierung), also Regularisierung über maskierte Eingaben. Es handelt sich um einen zusätzlichen Next-Token-Verlust (Vorhersage des nächsten Tokens), der auf zufällig maskierten Eingaben während des Trainings berechnet wird. Durch das Maskieren eines Teils der Eingabe wird das Modell gezwungen, robustere Repräsentationen zu erlernen, statt sich auf oberflächliche Muster zu verlassen.

Die Autoren testeten MIR an Modellen mit einer Größe von 72 Millionen bis 1,4 Milliarden Parametern. Die Ergebnisse zeigen, dass die Kombination aus MIR + Weight Decay die alleinige Verwendung von Weight Decay übertrifft, mit messbaren Downstream-Gewinnen (Verbesserungen bei Aufgaben, die auf das Pretraining folgen) beim Modell mit 1,4 Milliarden Parametern.

Was bringt das Skalierungsgesetz SoftQ?

Die zweite Neuerung ist SoftQ, ein neues Skalierungsgesetz. Skalierungsgesetze beschreiben mathematisch, wie sich die Leistung eines Modells mit der Veränderung der Modellgröße und der Datenmenge verändert. Das bekannteste solche Gesetz, Chinchilla, verwendet einen additiven Ansatz, der die Situation wiederholter Datenexposition nicht gut erfasst.

SoftQ ist gerade für Bedingungen mit begrenzten Daten konzipiert, da es die Wechselwirkung zwischen Modellgröße und Daten bei wiederholten Daten besser modelliert. Das gibt Teams ein präziseres Werkzeug, um vorherzusagen, wie viele Daten und Parameter sie in realen, datenbegrenzten Umgebungen benötigen werden.

Wie bedeutsam sind diese Gewinne und ist der Code verfügbar?

Die Autoren quantifizieren die Gewinne von MIR im Vergleich zur Datenmenge: Sie schätzen, dass die Verbesserungen etwa der 1,3-fachen Menge an einzigartigen Daten entsprechen. Mit anderen Worten: Durch die Anwendung von MIR holt das Modell aus demselben Datensatz so viel heraus, wie es sonst aus einem deutlich größeren bekäme.

Für die Community ist besonders relevant, dass die Autoren den Code veröffentlicht haben, als Open Source, wodurch andere Forscher die Ergebnisse reproduzieren und MIR sowie das Skalierungsgesetz SoftQ an ihren eigenen Modellen testen können. In einer Zeit, in der immer lauter über das Annähern an die Grenzen der verfügbaren Daten gesprochen wird, könnten solche Ansätze zu einem Standardbestandteil des Pretraining-Rezepts werden.