RA-RFTは標準的な類似性検索とどのように異なるか？

従来の検索はクエリと意味的に類似した例を選択しますが、それが推論を助けるとは限りません。RA-RFTは表面的な類似性ではなく、タスクを解決するための期待される有用性に基づいて例をランク付けする別のモデルをトレーニングします。

AIME 2025ベンチマークでのRA-RFT手法の具体的な結果は何か？

この手法はAIME 2025 average@32ベンチマークで、標準的なGRPO強化学習アプローチと比較してQwen3-1.7Bを7.1ポイント、Qwen3-4Bを2.8ポイント改善しました。

RA-RFT：類推による推論でAIを7ポイント向上

研究者らは、推論に有用な例の取得と強化学習を組み合わせたフレームワークRA-RFTを発表しました。従来の意味的検索とは異なり、システムはタスクの解決に実際の利益をもたらす例を選択し、数学のベンチマーク結果を最大7.1ポイント改善します。

研究者チームがarXivプラットフォームでRA-RFT（Retrieval-Augmented Reinforcement Fine-Tuning）と呼ばれる言語モデルのファインチューニングへの新しいアプローチを発表しました。これは類推学習と強化訓練からのフィードバックを組み合わせることで数学的推論を改善します。

重要なイノベーションは何をするかではなく、何を選択するかにあります：意味的に類似した例の標準的な取得の代わりに、RA-RFTは推論に有用な例を探すことを学習します——そしてその区別が差をもたらします。

根本的な問題：意味的類似性≠解決への有用性

例の取得（retrieval-augmented generation、RAG）に依存する言語モデルは通常、意味的近さによって知識ベースを検索します：「この問題に似た例はどれか？」

しかしRA-RFTの著者らはより踏み込んだ重要な観察をします：意味的に類似した問題は全く異なる解決戦略を必要とする場合があり、一見無関係に見える問題は時として同じ基本的な推論パターンを共有することがあります。

例：2つの数学の問題は同一の表記法と用語を使用しながら、全く異なる方法で解けることがあります。一方、組み合わせ論の問題とグラフ理論の問題はモデルが学ぶ必要がある同じ論理的跳躍を共有することがあります。従来の検索は間違った例を選びます。

RA-RFTはこの問題をどのように解決するか？

フレームワークは2つの主要なコンポーネントで構成されています：

最初はゴールド関連性蒸留（gold-relevance distillation）です。意味的近さではなく、推論への期待される有用性——選択された例がモデルのタスク解決にどれだけ実際に役立つか——を予測する別の取得モデルをトレーニングします。このリトリーバーは、どの例が正確な解決につながるかのデータから、単に類似して見えるものからではなく、学習します。

2番目のコンポーネントはGRPO（Group Relative Policy Optimization）アルゴリズムに基づく強化ファインチューニング（reinforcement fine-tuning）です。モデル（ポリシー）は取得された類推的な例をスキャフォールドとしてトレーニングされます——それらをコピーするのではなく、代替解決戦略を示すガイドとして使用します。学習したスキルは数学的解の正確さのような検証可能な結果によって確認されます。

スケーリングの新しい軸としてのRA-RFT

著者らは特に1つの主張を強調しています：RA-RFTがもたらす改善はこれまでのスケーリングの軸と直交しています。

言語モデルの強化学習に関する現代の研究は主に2つの軸でスケールします：より良い報酬設計（reward design）とより良いトレーニングカリキュラム。RA-RFTは第3の軸を導入します——取得された例の品質と関連性は独立して最適化・改善できる独自の次元として。

これはRA-RFTがGRPOや類似のアプローチを既に使用している既存の手法と競合せず組み合わせられることを意味し、それらのスタックにとって潜在的に魅力的なツールとなっています。

AIME 2025での説得力のある結果

AIME 2025（American Invitational Mathematics Examination）ベンチマーク——言語モデルの数学的推論評価の標準的なテスト——において、RA-RFTは測定可能な利益をもたらします：

Qwen3-1.7BモデルがベースラインGRPOトレーニングと比較してaverage@32メトリクスで7.1ポイント改善
Qwen3-4Bモデルが同じ方法論で2.8ポイント改善

取得された例は精度を向上させるだけでなく、補完的な解決戦略を示します——モデルは解に至る複数の経路を持ち、堅牢性が向上します。

類推による学習の重要性

類推による推論は人間の基本的な認知メカニズムのひとつです。新しい問題に遭遇したとき、私たちは直感的に既に解いた類似の問題を探し、「あのとき何をしたか、ここでも有効か？」と問います。

AIシステムにとって、このメカニズムはこれまで表面的なレベルに限定されていました——システムは似ている問題を見つけていましたが、必ずしも助けになる問題ではありませんでした。

モデルトレーニングへの潜在的影響

RA-RFTはポストトレーニングフレームワークであり、基盤モデルの初期トレーニング後に適用されることを意味します。これにより、ゼロからの高コストな再トレーニングなしに既存のモデルとの互換性があります。

著者らはQwen3ファミリーのモデルで実験しましたが、方法論は原理的に取得のための適切な例ベースを持つ任意の言語モデルに適用可能です。

改善の分野は数学に限定されません：明確に定義された解決ベクトルと十分な例を持つあらゆるドメインが同じ論理から恩恵を受けられます。コード、形式論理、法律は自然な次のステップです。

RA-RFT：類推による強化学習の新手法が数学的推論を7.1ポイント向上