arXiv:2606.03937：エントロピーは視覚推論には不十分、と新たな RL フレームワークが主張

Entropy Is Not Enough と題された新たな論文は、マルチモーダルモデルの強化学習における通例的な手法に疑問を投げかける。Senjie Jin と復旦大学のチームを中心とする著者らは、テキストでは抜群に機能する手法が、モデルが画像について推論しなければならなくなった途端に失敗すると主張する。

エントロピーの問題は何か？

強化学習（reinforcement learning、RL）は、良い判断に報酬を与えることでモデルを訓練する。個々のトークンへの功績の割り当てには、しばしば エントロピー——次の語に対するモデルの不確かさを測る尺度——が用いられる。不確かなトークンが最も情報量が多い、という論理だ。しかし著者らは、視覚的に敏感なトークン——画像の内容に直接依存するもの——が本来的に低いエントロピーを持つと警告する。そのため古典的なエントロピー手法は、正しい結論に不可欠であるにもかかわらず、それらを無視してしまう。

VEPO はどのように問題を解決するのか？

提案されたフレームワークは VEPO（Vision-Entropy token-selection for Policy Optimization）と名づけられている。これは 乗法的な結合 を導入し、勾配の功績を、視覚的に根拠を持ちかつ高い情報量を備えたトークンへと向ける。2つの尺度の積は、トークンが重みを得るには両方の条件を満たさねばならないことを意味し、これにより純粋にテキスト的だが不確かなトークンを過大評価することを避ける。

改善はどれほど大きいのか？

結果は、エントロピーのみを用いるベースラインに対する一貫した向上を示している。70億パラメータ規模のモデルで +2.28ポイント、30億パラメータのより小さなモデルで +3.15ポイント である。規模が小さいほど向上が大きく、これはモデルの容量が限られているときほど、賢いトークン選択がとりわけ価値を持つことを示唆している。