AWS SageMakerガイド：マルチターンRLでは報酬と評価がアルゴリズムより重要

AWSはAmazon SageMaker AIプラットフォームにおけるマルチターン強化学習の包括的なガイドを公開した。焦点は特殊なアルゴリズムでも、インフラのスケーリングでもない——このドキュメントの中心的なテーゼはシンプルで、一般的な前提に真っ向から反するものだ。報酬関数の質と評価の独立性が、有用なエージェントを生み出すかどうかを決定する。RLアルゴリズムの選択やハイパーパラメータの設定よりもはるかに重要だ。

報酬と評価はアルゴリズムより重要

マルチターン強化学習は標準的なRLと異なる。エージェントは複数のターンにわたって逐次的な決定を下す必要があり、コンテキストはインタラクション数とともに増大する。SageMaker AIはそのためのモジュラーなエージェントと環境インターフェース、制御されたオフポリシー遅延を伴う非同期ロールアウトデータ収集、およびネイティブアルゴリズム（PPO、CISPOとインポータンスサンプリングロス）を提供する。プラットフォームは長い軌跡を管理するためのシーケンス拡張トレーニングと、ターンレベルのトラッキングのためのMLflow統合も提供する。

しかしガイドははっきりと述べる。不適切に設計された報酬や不十分に独立した評価を補うアルゴリズム的な近道はない。両要素はトレーニングが始まる前に正しく設定されなければならない。AWSは明確な優先階層を定義する。代表的なデータを収集して分割し、密閉された環境を構築し、独立したテストセットを定義し、ベースライン性能を確立する——そして初めて報酬を設計しトレーニングを開始する。

報酬関数の設計における最も一般的な落とし穴は何か？

最初の落とし穴はRLの文脈におけるグッドハートの法則だ。実際のタスクを解決せずに報酬メトリクスを最適化するエージェント。AWSドキュメントは報酬ハッキングの具体的な指標を挙げている——トレーニング報酬が上昇する一方で検証報酬が横ばいのまま、またはベースモデルがトレーニングセットで外部評価よりも高い報酬を達成している場合は、報酬パーサーが評価基準がより厳しく評価するケースを見逃しているサインだ。解決策はパーサーを厳格化し、新しいロールアウトのオフライン監査を実施することだ。

2番目の落とし穴はバイナリ報酬だ。グループ内のすべてのロールアウトが同一のスコアを取得する——すべてゼロまたはすべて1——と勾配が消え、トレーニングが停滞する。ガイドは、最終的な回答が正確でなくても解決策への進捗に対して部分的なクレジットを与える密な（dense）報酬関数を推奨する。診断にはrollout/reward/zero_frac——ゼロ報酬の軌跡の割合——を追跡し、割合が高すぎる場合はgroup_sizeを8から4に削減する必要がある。

3番目の落とし穴はセルフ評価だ。自分自身の成功を測定するシステムは自身の報酬ハッキングを検出できない。AWSは、トレーニング報酬で使用されるものより厳しい基準を持つ分離されたテストセットでの独立した外部評価の義務を強調する。汎化を測定することと報酬ハッキングからの独立を測定することの違いは、ガイドが明示的に強調する重要な区別だ。

マルチターンにおけるコンテキスト管理

マルチターンエージェントには単一ターンRLに存在しない固有の問題がある。コンテキストはインタラクション数とともに増大し、計算コストが高くなるか意味的に古くなる可能性がある。AWSはmax_turns = ceil(N × 1.5)を推奨する。Nは熟練した人間が同じタスクに必要な典型的なターン数に対応する。回答の**5%**以上がターンごとのトークン上限に達する場合は、ターンあたりの上限への回答のクラスタリングが構造的な制限を示しているためsampling_max_tokensを増やす必要がある。

トレーニングの健全性を監視するための重要な4つのメトリクス：ゼロ報酬の軌跡の割合（zero_frac）、均一なスコアにより破棄されたロールアウトグループの割合（zero_adv_groups）、検証セットでの1回の試みでのパスレート（pass_k_1）、8回の試みでのパスレート（pass_k_8）。zero_adv_groupsが高いままでpass_k_1が低下または停滞している場合は、group_sizeを縮小するかロールアウトの多様化を増やす必要がある。

特に危険なのはポリシー崩壊だ。トレーニング40から80ステップ後の報酬のゼロへの急落。AWSはasync_config.max_steps_off_policy = 0を設定し、CISPOからPPOへの切り替えを推奨する。安定化は通常、介入から25から50ステップ以内に起こる。

具体的な結果とツール

AWSガイドは航空機検査のSOP-Benchベンチマークを通じて原則を示している。並行タスク、不一致のワンショット例、誤った出力タグ形式を伴う初期トレーニング試行は不安定で悪い結果を生み出した。対象を絞った修正（単一タスクへの集中、一致した例、正しい出力タグ）の後、ファインチューニングされたモデルはタスク成功率を13%、**フィールド精度を約16%**改善した。

実装のために、SageMakerはMultiTurnRLTrainerとMultiTurnRLEvaluatorをハイレベルな抽象化として提供し、標準化されたベンチマーキングのためのSOP-Benchデータセット、および各ターンのトラッキングのためのMLflow統合を提供する。トレーニングされたエージェントの本番デプロイにはBedrock AgentCoreが推奨される。

このガイドは、顧客リクエスト解決からコンテンツモデレーションまで、実際のタスクのためのエージェントを構築するMLエンジニアを対象としている。根本的な結論はドメインを問わず当てはまる。適切に密閉されたトレーニング環境と真に独立した評価への投資は、アルゴリズムとハイパーパラメータの反復よりもはるかに高い成果を生む。