arXiv:2607.17641: VRR-Stop、LLMエージェントが自己回答の反復修正をいつ止めるべきかを解決

なぜverify-repairループが回答を悪化させることがあるのか?

Yitao Wuらは、論文「Verify, Repair, Repeat, or Stop? Robust Stopping for Noisy Verify-Repair Loops in LLM Agents」(arXiv:2607.17641)において、LLMエージェントによく見られるパターンを検討しています。エージェントは、現在の回答の正しさを評価するverifierと、回答を修正しようとするrepairerを交互に呼び出します。著者らは逆説的な発見を示しています——verifierとrepairerの両方が無視できない確率で誤る場合、ループの追加の各ラウンドは必ずしも結果を改善するわけではなく、むしろ悪化させることがあります。これは、repairerがすでに正しい回答を誤った方向に「修正」してしまう可能性があるためです。

VRR-Stop:4つのパラメータによるノイズモデルとbelief filtering

解決策として、著者らはVRR-Stopを提案しています。これは、verifierとrepairerの挙動を、それぞれの双方向の誤り率という4つのパラメータで記述するノイズモデルによる手法です。このモデルに基づき、belief filteringは現在の回答が正しいという推定確率を継続的に追跡し、それに基づいてエージェントがさらに1ラウンドの修正を続けるべきか、あるいは止めるべきかを判断します。さらに、推定が信頼性を持って継続するには不確実すぎる場合に判断を引き継ぐフォールバック機構であるVRR-Guardも定義されています。

VRR-Stopと固定5ラウンド修正との比較

数学的推論タスクにおいて、VRR-Stopは、あらかじめ定めた回数までループを続け、回答が改善しているかどうかにかかわらず継続する、一般的な固定5ラウンドのverify-repair修正アプローチに対して60.6ポイントの改善を達成しています。著者らは、この改善が固定ループに対してごくわずかな追加の計算コストしか伴わないことを強調しており、これによりVRR-Stopは、回答の反復的な検証と修正に依存するエージェントシステムにとって実用的な代替手段となっています。