arXiv:2606.09380：トレーストーナメントが言語モデルのRLVRトレーニングにおけるゼロ勾配問題を解決

RLVRトレーニングにおけるゼロ勾配問題

RLVR（Reinforcement Learning with Verifiable Rewards、検証可能な報酬による強化学習）は言語モデルの推論能力向上のための支配的なパラダイムになりつつあります。この手法は最終回答の正確性に応じてトレースに報酬を与え、同時に生成されたサンプルのグループ内で相対的に利点を計算します。

グループ内のトレース全体が同一の報酬を受け取ったとき——すべて正解またはすべて不正解の場合——に問題が発生します。標準的なgroup-relativeアプローチはその場合ゼロ勾配を返します：モデルは有用な学習シグナルを受け取らず、トレーニングが停滞します。この現象は、精確な勾配の誘導が最も重要な場所である軽易なタスク（すべて正解）と難しいタスク（すべて不正解）で特に顕著です。

トレーストーナメントはデッドシグナルをどのように解決しますか？

同一報酬でのグループ比較の代わりに、Reasoning Arenaはトレース間のヘッドツーヘッドトーナメントを組織し、動的アンカーセット上のBradley-Terryの確率モデルを通じて各トレースの相対的な強みを推定します。Han Zhou、Adam X. Yang、Laurence Aitchison、Anna Korhonen、Albert Q. JiangはこのアプローチをarXiv:2606.09380（2026年6月8日発表）で発表しています。

主要な利点は、新しいトレースをすべての他のトレースと比較する必要がない——コストのかかるO(n²)——代わりに選択されたアンカーのみと比較することです。トレースが同じ報酬を共有する場合でも、推論の質の違いはトーナメントの結果を通じて見えてきます。このようにして、ゼロの利点を持つサンプルが有用な勾配ステップに変換され、グループ内の違いに関する情報は捏造されるのではなく、推論プロセス自体から引き出されます。

結果：より速く、より安く、より正確

競争的な数学およびプログラミングのベンチマークでの評価は、標準的なgroup-relativeアプローチと比較して+7.6%の精度向上を記録しています。さらに、トレーニングは27〜41%高速化され、サンプル生成のコンピュートは約50%削減されます。

著者たちはReasoning Arenaは既存のRLVRトレーニング手法のより効率的な代替手段であるだけでなく、より安価でもあると結論付けています——比例したコスト増加なしに推論能力の進歩を達成したい限られた計算予算を持つ研究グループにとって特に価値があります。