arXiv:2606.03937：新 RL 框架称熵不足以胜任视觉推理
研究人员表明，token 熵单独使用时在视觉推理上会失效，因为它忽略了视觉敏感的 token。他们提出 VEPO，一个将视觉敏感性与熵相结合的框架，其表现比基于熵的基线高出最多 3.15 分。
🤖
本文由人工智能基于一手来源生成。
一篇题为 Entropy Is Not Enough 的新论文，对多模态模型强化学习中的惯常做法提出了质疑。由 Senjie Jin 和复旦大学团队牵头的作者们认为，对文本效果极佳的方法，一旦模型必须对图像进行推理便会失效。
熵的问题在哪里？
强化学习（reinforcement learning，RL）通过奖励正确决策来训练模型。在为单个 token 分配贡献时，常会用到 熵——衡量模型对下一个词不确定程度的指标。其逻辑是：不确定的 token 信息量最大。然而作者警告说，视觉敏感的 token——那些直接依赖图像内容的 token——天然具有较低的熵。因此经典的熵方法会忽略它们，尽管它们对得出正确结论至关重要。
VEPO 如何解决这个问题？
所提出的框架名为 VEPO（Vision-Entropy token-selection for Policy Optimization）。它引入了 乘法式结合：将梯度贡献导向那些同时具有视觉根据且高信息量的 token。两项指标的乘积意味着 token 必须同时满足两个条件才能获得权重，从而避免高估那些纯文本但不确定的 token。
提升有多大？
结果显示，相比仅使用熵的基线有一致的增益：在 70 亿参数规模的模型上 +2.28 分，在 30 亿参数的更小模型上 +3.15 分。规模越小增益越大，这表明在模型容量受限时，明智的 token 选择尤其有价值。
常见问题
- 为什么熵不足以胜任视觉推理？
- token 熵根据模型的不确定性来分配贡献，但视觉上重要的 token 往往具有较低的熵，因此这种方法会忽略它们。
- VEPO 能提升多少结果？
- 相比仅基于熵的方法，VEPO 在 7B 规模上带来 2.28 分的提升，在 3B 规模上带来 3.15 分的提升。
来源
📬 AI 新闻直达您的邮箱
按您的方式定制每日摘要——自选主题、来源和频率，一键退订。