Allen Institute BAR：モジュール型後処理トレーニングとMoEがOLMo 2 7Bの数学スコアを7.8ポイント向上

BARとは何ですか？どう機能しますか？

Allen Institute for AIは2026年4月20日に、新しいモジュール型言語モデル後処理トレーニング手法であるBAR（Branch-Adapt-Route）を発表しました。従来のモノリシックなアプローチ——単一のモデルが1つの大きな後処理トレーニングパイプラインを通過する方法——とは異なり、BARでは複数の専門化エキスパートを独立してトレーニングできます：

• 数学
• コード
• ツール使用（外部ツールの活用）
• 安全性

各エキスパートはそれぞれのドメインで個別にトレーニングされ、ルーティングメカニズムを通じて1つの統合された**Mixture-of-Experts（MoE）**モデルに結合されます。MoEアーキテクチャでは、モデルが複数の専門化サブモデルを持ち、ルーターがクエリごとにどのエキスパートが応答するかを選択します。

BARはどれだけ性能を向上させますか？

Allen InstituteのオープンモデルであるOLMo 2 7Bで19のベンチマークを通じて測定された結果：

• 平均スコア49.1（モノリシックな再トレーニングベースラインの47.8と比較）
• 数学で**+7.8ポイント**
• コードで**+4.7ポイント**

平均1.3ポイントの差は控えめに聞こえるかもしれませんが、数学やコードなどの特定分野では5〜8ポイントの改善は大きな意味を持ちます。特に他の分野での低下なしに達成されているためです。

モジュール性がベンチマークより重要な理由

BARの真の突破口はベンチマークスコアではなく、インクリメンタルな改善の可能性にあります。従来のアプローチでは、重要な改善ごとにフルの再トレーニング——コストのかかる後処理トレーニングプロセスの再起動——が必要です。BARでは、個々のエキスパートをシステムの他の部分を乱すことなく置き換えまたはアップグレードできます：

• コードエキスパートを新しいより優れたものに置き換え：コードで**+16.5ポイント**
• 数学エキスパートに強化学習（RL）を追加：数学で**+13ポイント**

これはソフトウェア開発の方法論——モジュール式サービスが独立してアップグレードされる——に似たアプローチで、システム全体のモノリシックな再構築とは異なります。

破滅的忘却の問題をどう解決しますか？

AI研究における最大の問題の1つは破滅的忘却です。新しい知識が古い知識を「消去」してしまいます。数学のためにモデルをファインチューニングすると、他のドメイン（詩、会話、コードなど）の能力が低下する現実的なリスクがあります。これによりインクリメンタルな改善はリスクを伴います。

BARはエキスパートの隔離によってこれをエレガントに解決します——各エキスパートが自分のドメインでトレーニングする際、他のエキスパートの重みに触れません。ルーターはいつどのエキスパートを使用するかだけを学習します。これにより、退行を恐れることなく専門化を追加できます。

オープンソースコミュニティへの影響

オープンモデルに対して、BARは非常に重要な可能性——分散型開発——を開きます。異なる研究チームが異なるエキスパートを提供し、それらが共同モデルに統合されます。このアプローチはオープンソースモデルの進化を大幅に加速させる可能性があります。

実際に、BARの著者たちは「ベース」モデルが長期間安定を保ち、改善は新しいエキスパートの公開を通じて行われるパターンを提案しています。これはオープンソースAIコミュニティの協力方法を変える可能性があります——「誰が最高の7Bモデルを持っているか」から「誰の数学エキスパートが現在最高か」へのシフトです。

Allen Instituteはこれにより、オープンAI研究において最重要プレイヤーの一つとしての地位を確立し、完全な方法論とエキスパートの重みをすべて公開した優位性を示しました。