arXiv:2606.03937: 시각 추론에는 엔트로피만으로 부족하다는 새 RL 프레임워크

Entropy Is Not Enough이라는 제목의 새 논문은 멀티모달 모델을 위한 강화학습의 통상적 관행에 의문을 제기한다. Senjie Jin과 푸단대학교 팀을 중심으로 한 저자들은, 텍스트에서 훌륭하게 작동하는 방법들이 모델이 이미지에 대해 추론해야 하는 순간 실패한다고 주장한다.

엔트로피의 문제는 무엇인가?

강화학습(reinforcement learning, RL)은 좋은 결정에 보상을 주어 모델을 학습시킨다. 개별 토큰에 공헌도를 배분할 때는 다음 단어에 대한 모델의 불확실성 척도인 엔트로피가 흔히 사용된다. 불확실한 토큰이 가장 정보량이 많다는 논리다. 그러나 저자들은 이미지 내용에 직접 의존하는 시각적으로 민감한 토큰이 본래 낮은 엔트로피를 갖는다고 지적한다. 따라서 고전적 엔트로피 접근은 정확한 결론에 핵심적인 이 토큰들을 간과한다.

VEPO는 문제를 어떻게 해결하는가?

제안된 프레임워크의 이름은 VEPO(Vision-Entropy token-selection for Policy Optimization)다. 이 프레임워크는 곱셈적 결합을 도입한다. 즉, 시각적으로 근거가 있으면서 동시에 정보량이 높은 토큰으로 그래디언트 공헌도를 향하게 한다. 두 척도의 곱이라는 것은 토큰이 가중치를 받으려면 두 기준을 모두 충족해야 함을 의미하며, 이로써 순수하게 텍스트적이지만 불확실한 토큰의 과대평가를 피한다.

개선 폭은 얼마나 큰가?

결과는 엔트로피만 사용하는 베이스라인 대비 일관된 향상을 보인다. 70억 파라미터 규모 모델에서 +2.28점, 더 작은 30억 파라미터 모델에서 +3.15점이다. 규모가 작을수록 더 큰 향상을 보이는데, 이는 모델 용량이 제한적일 때 영리한 토큰 선택이 특히 가치 있음을 시사한다.