arXiv:2606.05610: 継続事前学習のためのハイパーパラメータの予測可能なスケーリング則

arXiv に公開された学術論文（識別子 2606.05610、2026年6月4日）は、経験的なスケーリング則によって大規模言語モデルの継続事前学習（continued pre-training）における最適なハイパーパラメータを予測するフレームワークを提示する。その目的は、高コストで手動のハイパーパラメータ探索を、予測可能で計算可能な規則に置き換えることである。

継続事前学習とは何か、問題はどこにあるのか

継続事前学習（CPT）は、すでに訓練済みのLLMを新たなコーパスでさらに事前学習する段階である——例えば特定のドメイン、言語、あるいはデータ体制への適応のために。ゼロからの訓練とは異なり、既存の重みから出発するため、学習率やスケジュールのようなハイパーパラメータの設定方法が変わる。これまでこれらのハイパーパラメータは主に実験的に探索されてきたが、これは計算コストが高く、最適な設定が計算量とモデルの特性に依存するため信頼性に欠ける。

このフレームワークはどのようにハイパーパラメータを予測するのか

論文は、経験的なスケーリング則——計算量とモデルの振る舞いを結びつける数学的関係——に基づく二段階のアプローチを提供する。第一段階では、compute（計算資源）を最適な設定に写像する関数を、proxyモデルを用いて導出する。proxyモデルは、結果をより大きな目標モデルへ外挿する前に、スケーリング則を較正するために用いられる、より小さく安価なモデルである。これにより、最適な設定が網羅的に探索されるのではなく、あらかじめ推定される。

「等価な事前学習compute」とは何か

第二段階では、checkpointの検証損失（validation loss）から等価な事前学習computeを推定する。その考えは、モデルの現在の状態——検証セットでの損失を通じて捉えられる——を、そのcheckpointがどれほどの「等価な」事前学習を表すかを表現する量に翻訳することである。この推定は、モデルの実際の状態を第一段階のスケーリング則と結びつけ、再度の高コストな探索なしに訓練継続のための設定をより正確に選択することを可能にする。

コストはどれほど削減されるのか

このフレームワークの実践的な価値は節約にある。著者らは、このアプローチが同等以上の性能を達成しながらハイパーパラメータ探索のコストを最大90%削減すると述べている。大規模モデルでのハイパーパラメータ探索が訓練全体の予算の相当部分を消費しうるため、これは重要である。予測可能な規則によって、そのコストの大部分が排除される一方、結果の質は手動で見つけた設定と同等かそれ以上にとどまる。

なぜモデル非依存性が重要なのか

このフレームワークはモデル非依存——単一のアーキテクチャや特定のモデルに縛られず、さまざまなLLMにより広く適用できる——と記述されている。これは実用上の有用性を高める。継続事前学習を行うチームが、モデルごとに方法論をゼロから開発する必要がないからである。二段階の手順と経験的なスケーリング則と組み合わさることで、このフレームワークは、大規模モデルを新たなデータに適応させるための、より安価で予測可能な、体系的で転用可能なレシピを提供する。