VRRL：強化学習が視覚言語モデルに自己修正時に実際に画像を使わせる

自己修正能力はエージェント的応用において視覚言語モデル（VLM）に求められる重要な特性の一つだ。モデルが誤りを犯した時、それを認識して修正する必要がある――理想的には元の視覚入力を真実の源として参照しながら。

Liyan Tang、Fangcong Yin、Greg Durrattが文書化した問題は、既存のVLMがこれを適切に行っていないことだ。自己反省フェーズに入る時、モデルは画像を再び真剣に見るのではなく、以前の言語コンテキストに依存する傾向がある。結果として修正は視覚入力に根ざしていない――モデルは答えを変えるが、視覚的に自分の誤りを確認したからではなく、言語パターンを変えたからだ。

なぜ標準的なアプローチは視覚的に接地されていない自己反省を解決しないのか？

標準的なファインチューニングは全体的な精度を向上させるが、視覚入力を条件とするエラー修正の特定の問題をターゲットにしない。リフレクション志向のファインチューニングはモデルに自己反省の形式を教えるが、修正が実際に画像に基づいているかの保証はない。モデルは視覚的な証拠を完全に無視する適切に構造化された反省を生成する可能性がある。

強化学習（RL）は報酬が最終的な答えの正確性を通知できるため、より良い出発点を提供する。しかし標準的なRLは正しい答えへの道が視覚的な確認を通じることを強制しない――モデルは言語空間のショートカットを通じて正確な答えを学習する可能性がある。VRRL（Visually Grounded Self-Reflection via Reinforcement Learning）はまさにこのギャップに対処する。

VRRLフレームワーク内の2つの技術的革新

VRRLは視覚的に接地された修正を強制するための2つの具体的な修正を持つRLフレームワーク上に構築される。

第1はプレフィックス軌跡マスキングだ。 訓練中、軌跡の初期ステップ――最初のエラーを含む――はRLシグナルからマスキングされる。モデルは修正フェーズで行う内容のみに基づいて報酬または罰を受け取る。このように最適化の圧力は、最初からエラーを回避する方法ではなく、エラーを修正する方法に向けられる。修正は何かに基づかなければならない――モデルが反省フェーズで利用できる唯一のものは、以前のテキスト以外には元の画像だ。

第2の技術はバッファードロールイン――過去の訓練エポックからの失敗軌跡の多様なプールを構築するエクスペリエンスリプレイメカニズム――だ。モデルが常に同じか似たようなエラーから始めるのではなく、ロールインバッファーはモデルを広範な失敗モードに晒す。これにより特定のタイプのエラーへのオーバーフィッティングを防ぎ、分布外サンプルでの汎化を改善する――予期しない視覚入力に遭遇するエージェントシステムにとって重要だ。

結果：大幅に優れた分布外性能

VRRLは視覚的接地――表やグラフ内の物体の局在化と解釈を必要とするタスク――と、画像のシーケンスを通じた視覚的関係の追跡能力をテストする空間ナビゲーションタスクで評価された。

テストされたすべての構成で、VRRLは標準的なRLベースラインとリフレクション志向のファインチューニングと比較して、分布外サンプルで大幅に優れた性能を達成した。分布外評価はエージェント的応用において特に関連性が高い。なぜなら本番のモデルには訓練分布とは異なる視覚入力が定期的に届き、まさにそこで標準的なアプローチが失敗するからだ。

エージェント型VLMアーキテクチャへの広い文脈

VRRLは実際には行動を変えない視覚的な確認という具体的かつ実践的に重要な失敗モードをターゲットにしている。VLMが反復的にアクションを実行し、視覚的なフィードバックシグナルを観察し、計画を調整するエージェントループでは、このギャップは直接的な運用上の結果をもたらす――視覚的な接地なしに反省するモデルは同じエラーを新しい定式化で伝播させるだけだ。

論文の方法論的な貢献はベンチマークでの優れた数字にとどまらない。VRRLはRL訓練においてマスキングと再生の内容を選択することが、モデル内の特定の認知モードをターゲット的に強制できることを実証している。視覚的エージェントを構築する研究者にとって、これは因果的な視覚的推論や空間的な追跡などの能力を明示的にターゲットにするRLアルゴリズムの設計への道を開く――全体的な答えの正確性の報酬だけに依存するのではなく。