arXiv:2606.06888：データ制約下の事前学習 — スケーリング則SoftQと正則化MIR

研究者らは2026年6月5日、利用可能なcompute（計算能力）が入手可能な自然なテキストデータより速く増大する条件下での言語モデルの事前学習（pre-training）を扱う論文（識別子arXiv:2606.06888）をarXivリポジトリで公開した。論文は2つの重要な新機軸を提示する。正則化手法MIRと、SoftQと名付けられたスケーリング則である。

なぜそもそもデータ不足が問題になるのか？

現代の言語モデルはますます大きな計算能力で学習されるが、インターネット上の質の高いユニークなテキストの量は無限ではない。計算資源が利用可能なデータより速く増大すると、チームは同じデータを複数回使うことを余儀なくされ、これはデータの反復露出（data repetition）と呼ばれる。

問題は、同じ事例の反復が過学習（overfitting）につながることである — モデルは汎化を学ぶ代わりにデータを記憶し始める。論文arXiv:2606.06888はまさにこのシナリオを狙い、限られたデータ集合からより多くの有用な情報を引き出す手法を提案する。

マスク入力正則化（MIR）とは何か？

論文の中心的な貢献はMIR（masked-input regularization）、すなわちマスクされた入力による正則化である。これは、学習中にランダムにマスクされた入力に対して計算される補助的な次トークン損失（次トークンの予測）である。入力の一部をマスクすることで、モデルは表層的なパターンに依存する代わりに、より頑健な表現を学ぶことを強いられる。

著者らはMIRを7,200万から14億パラメータのサイズのモデルで検証した。結果は、MIR + weight decay（重み減衰）の組み合わせがweight decay単独の使用を上回ることを示し、14億パラメータのモデルでは測定可能な下流の利得（事前学習後に続く課題における改善）を伴った。

スケーリング則SoftQは何をもたらすか？

第2の新機軸はSoftQ、新しいスケーリング則（スケーリングの法則）である。スケーリング則は、モデルのサイズとデータ量の変化に応じてモデルの性能がどのように変化するかを数学的に記述する。最もよく知られたそのような法則であるChinchillaは、データの反復露出の状況をうまく捉えられない加法的アプローチを用いる。

SoftQは、データが繰り返されるときのモデルサイズとデータの相互作用をより良くモデル化するため、制約されたデータをもつ条件のためにまさに設計された。これにより、現実的でデータが制約された設定でどれだけのデータとパラメータが必要かを予測する、より精密なツールがチームに与えられる。

これらの利得はどれほどの価値があり、コードは入手可能か？

著者らはMIRの利得をデータ量との比較で定量化する。すなわち、改善がおよそ1.3倍多いユニークなデータ量に相当すると見積もる。言い換えれば、MIRを適用することで、モデルは同じ集合から、本来ならば著しく大きな集合から得られるのと同等のものを引き出す。

コミュニティにとって特に重要なのは、著者らがコードを公開しオープンソースとしたことであり、これにより他の研究者が結果を再現し、MIRおよびスケーリング則SoftQを自らのモデルで検証することが可能になる。利用可能なデータの限界への接近がますます声高に語られる時代において、このようなアプローチは事前学習のレシピの標準的な一部となりうる。