Direct-OPD：高コストのRLなしに弱いモデルが強いモデルを訓練できる方法
清華大学とZhipu AIの研究者らがDirect On-Policy Distillation（Direct-OPD）を提案した。弱い教師モデルの最終的なポリシーを模倣せずにRLの効果を強力な学生モデルに転送し、AIME 2024で48.3%から62.4%へのジャンプを達成する手法だ。
この記事はAIにより一次情報源から生成されました。
検証可能な報酬による強化学習（RLVRアプローチ）で言語モデルをトレーニングすることは、現代AIモデルの推論能力において最も印象的な改善の一部を生み出してきた。しかし、このアプローチには実際的なコストがある。新しい、より強力なモデルはそれぞれ独自の高コストなRLキャンペーンを必要とし、報酬から学習しながら何千ものロールアウトを生成しなければならない。モデルが大きくなるにつれて、ポストトレーニング自体がスケーリングのボトルネックになる。
清華大学とZhipu AIの研究者らは2026年7月6日に公開した論文でこの問題への優雅な解決策を提案した。Direct On-Policy Distillation（Direct-OPD）と名付けられた手法だ。
なぜRLは新しいモデルごとにコストがかかるのか？
この問題に対するこれまでの答えは、「弱から強へ」の蒸留として知られるアプローチだった。小さくて安価なモデルでRLをトレーニングし、そのモデルを強力なターゲットモデルの教師として使用する。しかし、このアプローチのナイーブな実装はうまく機能しない。より小さなRLトレーニングされたモデルの最終ポリシーは、RLがもたらした有益な効果と小さなモデル固有の制限が混在している。より強力なモデルがそのようなポリシーを模倣すると、効果と制限の両方を取り込んでしまう。
問題は概念的だ。最終ポリシーの直接的な蒸留はRLが実際に何を学んだかを転送しない――より強力なモデルがすでに弱いモデルよりも知っているすべてのことも転送してしまう。純粋なRLシグナルの代わりに、より強力なモデルは弱い方の弱点も含めたパッケージを受け取る。
Direct-OPD：ポリシーではなく変化を転送する
Direct-OPDの背後にある重要な洞察は方法論的に精密だ。弱いモデルが何を言うかを模倣するのではなく、Direct-OPDはRLが弱いモデルに何を変えたかを抽出する。
この手法は弱いモデルの事後RLチェックポイントを事前RLの参照チェックポイントと比較する。二つの分布の対数比（log-ratio）は、RLがどの行動をより確率高くし、どれを低くしたかを明らかにする――小さなモデル固有の弱点とシグナルが混在することなく。この対数比は次に、自身のオンポリシー状態でロールアウトを生成する強力な学生のための密な暗示的報酬として使用される。
結果は、明示的な報酬モデルをトレーニングすることも、ターゲットの大きなモデルに疎報酬RLを実行することもなく、スケールレベルをまたいでRLの監督シグナルを直接転送する方法論だ。計算コストは弱いモデルに落ち、シグナルは強いモデルに利益をもたらす。
結果：エリートベンチマークで14.1ポイントの向上
経験的な結果は明確だ。最強モデルの推論の標準的な指標であるAIME 2024ベンチマーク――競技数学問題のセット――で、Direct-OPDはQwen3-1.7Bを**48.3%から62.4%**に改善し、14.1ポイントの向上を達成した。
この結果はわずか8基のA100 GPUで4時間のトレーニングで達成された――研究室のコンテキストを超えたアプローチの実際的な実現可能性を示す期間だ。さらに、Direct-OPDは同数のステップでの強力なモデルへの直接RLを上回る。同じ計算量で、より良い結果を達成する。
この手法はもう一つの価値ある特性を示す。複数のRL改善を順次重ねることができる。複数の異なるRL実験からの変化を段階的に適用できる――互いに干渉することなく組み合わせるモジュール式レイヤーとして。これにより、複数の特化したRLキャンペーンの結果を活用する複雑な改善チェーンを構築する可能性が開かれる。
スーパーアラインメントとスケーラブルな監督への示唆
Direct-OPD研究はAI安全性の根本的な未解決の問題の一つに踏み込んでいる。スーパーアラインメント、つまりスケーラブルな監督だ。自分たちの監督者よりも有能なAIモデルをどのように監督できるかという問いだ。
Direct-OPDは具体的な貢献を提供する。本質を失うことなくRLの効果をスケール全体で上方に転送できることを示している。RLトレーニングを経た弱いモデルは、自身の弱点を転送することなく強いモデルのキャリブレーターとして機能できる。著者らはその教訓を明示的に定式化している――RLの結果はモデルスケールのレベル間の暗示的な報酬シグナルとして使用できる。模倣すべき最終モデルとしてだけでなく。
これにより、異なるドメインからの連続したRL改善を重ねること、および監督の階層を構築すること――各レベルがより弱いレベルから学びながらも固有の制限を超えるシステム――を含む研究の方向性が開かれる。
この論文はarXiv（2607.05394）で利用可能で、bytedtsinghua-sia.github.io/Direct-OPD/のプロジェクトページはコードとチェックポイントの公開リリースを発表している。
よくある質問
- Direct-OPDとは何ですか、従来の蒸留とどう違いますか？
- Direct-OPDは弱い教師の最終ポリシーを模倣せず、RLが引き起こした変化を抽出する――事後RLと事前RLのチェックポイントの対数比を、学習者自身のオンポリシー状態での暗示的な報酬として使用する。
- AIME 2024でのDirect-OPDの具体的な結果は？
- AIME 2024数学ベンチマークで、Qwen3-1.7Bは8基のA100 GPUでわずか4時間のトレーニングで48.3%から62.4%に改善し、同一の計算量での同モデルへの直接RLを上回った。
- なぜDirect-OPDはAIシステムの安全性と監督に関連しますか？
- この手法はスーパーアラインメントに直接関連する――弱い監督者を使って強力なAIモデルを監督する問題であり、AI安全性研究における主要な未解決の問いの一つだ。