TRIAGE：エージェント強化学習において適切なトークンに適切なクレジットを割り当てる方法

AIエージェントがタスクを解決するたびに軌跡を生成する——アクション、ツール呼び出し、中間結果の連続だ。GRPOなどの標準的な強化学習アルゴリズムはそのシーケンスを均一に扱う：結果が成功なら、すべてのトークンが正のアドバンテージを得る；失敗なら、すべてが負を得る。問題はその前提が正確ではないことだ。

なぜ均一なアドバンテージが悪いインセンティブを生むのか？

エージェントが3回の行き止まりを探索し、4回目の試みで成功すると想像してほしい。GRPOは解決策を見つけるのに役立った3つの有用な探索シーケンスを含むすべての4つのシーケンスを均等に報酬する——しかし何にも貢献しない無駄なコードも。失敗したランでは、逆に、正しいトラックにあったあの探索シーケンスもペナルティを受ける。

TRIAGE（Role-Typed Credit Assignment for Agentic RL）、2026年6月30日にarXiv（2606.32017）で公開されたこの論文は、既存の結果シグナルに加えて意味的軸を導入する。

四つの役割、四つのクレジットレベル

固定された構造を持つLLMジャッジが軌跡の各セグメントを評価し、四つの役割のうち一つを割り当てる：

1. 決定的前進 ——エージェントを直接目標に向けて動かすアクション。貢献に比例して報酬される。

2. 有用な探索 ——直接成功につながらないが、行き止まりを排除したり後続のコースに関連する情報を収集したりするアクション。標準的なGRPOでは失敗したランでペナルティを受ける；TRIAGEでは肯定的な貢献として認識される。

3. 前進のないインフラ ——必要だが中立なアクション：初期化、解析、出力のフォーマット。結果への比例的な割り当て以外では報酬も罰則もない。

4. 後退 ——エージェントを目標から遠ざけ、以前の進捗を無効にし、またはエラーを導入するアクション。最終的な結果が成功であってもペナルティが課される。

役割に条件付けられた報酬の割り当ては固定ルールに従う——アドホックなヒューリスティクスの産物ではない。著者たちは、そのような割り当てが役割変数への各セグメントのアドバンテージ残差の射影として定義された、役割から表現可能なセグメントレベルでの最適な補正を表すことを証明している。

三つのベンチマークでの結果

TRIAGEはALFWorld（テキストベースのホーム環境でのナビゲーションと操作）、Search-QA（ウェブ検索による質問応答）、WebShop（シミュレートされたeコマースインターフェースでのショッピング）でテストされた。

主な知見：完了したロールアウトでTRIAGEはGRPOと比較して環境へのアクション数を10.4%〜14.8%削減し、同時に成功率も向上させた。同じモデルを持つエージェントがより少ないステップでタスクを解決する——実際にはより低いコストとより短い応答時間に相当する。

アブレーション研究は何を示すか？

著者たちは四つの役割それぞれの貢献を分離した。成功した軌跡内での後退の検出が改善の支配的な要因であることが示された。これは反直感的な知見だ：最も重要なのは良い探索に報酬を与えることではなく、結果が肯定的であっても悪いアクションにペナルティを課すことだ。

有用な探索のクレジット付与は一貫した、しかし二次的な改善をもたらした——特に製品に関する情報収集が正確な決定に重要なWebShopのような環境で顕著だ。

文献内での位置づけ

TRIAGEは対象モデルを変更せず、高価な追加トレーニングも導入しない——LLMジャッジはより小さな特化モデルでよい。エピソードの結果シグナル（成功／失敗）は主要な最適化器として残る；TRIAGEはセグメントの意味的貢献に従ってそのシグナルを軌跡内で再分配する処理レイヤーを追加する。

ウェブ・コード・データベースなどのコストのかかる環境で複数ステップのタスクを実行するエージェントを扱う実務者にとって、10%以上のアクション削減は直接的な運用上のコスト削減に変換される。論文は本日からarXivで利用可能だ。