arXiv:2606.19327：ルーブリック条件付き自己蒸留が推論モデル訓練でGRPOを凌駕

新訓練手法が功績帰属を再定義する

自己蒸留——外部から収集されたデータではなく、モデルが自身の生成例から学習する方法——は、高コストなRLHFプロセスの代替として人気が高まっています。arXiv:2606.19327ではルーブリック条件付き自己蒸留が導入されています。これは構造化されたルーブリック（推論の良いステップを定義する基準セット）でこのアイデアをさらに発展させたアプローチです。結果として、回答全体を1つの数字で評価するスカラー報酬とは対照的に、トークンレベルでのより細かい功績帰属（credit assignment）が実現されます。

スカラー報酬の代わりにトークンレベルの指導

この手法の中核的な革新は、ルーブリックが訓練に組み込まれる方法にあります。外部評価基準にとどまる代わりに、トークンレベルの指導に変換されます——これにより、モデルは答えが正しいかどうかだけでなく、推論の正誤にどの具体的なトークンが寄与したかも知ることができます。このメカニズムはプロセス報酬モデル（PRM）技術に似ていますが、ここでの指導はルーブリック記述から生成され、独立した報酬モデルからではありません。現在の2つの主流手法——GRPO（Group Relative Policy Optimization）とOPSD（Online Policy Self-Distillation）——は、この粒度を失うグループまたは集約シグナルに依存しています。

科学的推論ベンチマークで一貫した改善

実験結果は新手法の優位性を確認しています。ルーブリック条件付き自己蒸留は、数学的・物理的・化学的推論をカバーするベンチマーク群の平均で、GRPOを+1.0ポイント、OPSDを+0.9ポイント上回りました。数分の一パーセントポイントの進歩が数週間の追加開発を意味する領域において、1ポイントの向上は測定可能な前進を表します。著者らは、改善が特定のサブセットだけでなくすべてのテストで一貫していると指摘しており、これは偶然ではなく構造的な優位性を示唆しています。

次世代推論モデル開発への示唆

この研究は、oシリーズ（OpenAI）やClaude Extended Thinking（Anthropic）などのモデルを開発するラボにとって実践的な意味を持ちます。ルーブリックが追加モデルなしにスカラー報酬を置き換えたり補完したりできるなら、推論能力の訓練はより安価で制御しやすくなります。研究者たちは、この手法が特に多段階の数学的問題——現在のモデルが推論チェーンの早い段階で最も頻繁に誤りを犯す箇所——で特によく機能すると述べています。