arXiv:2606.20008: VIMPO — 비평가 없는 강화학습이 MATH-500과 AIME에서 GRPO를 능가하다

VIMPO란 무엇이며 왜 중요한가

VIMPO(Value-Implicit Policy Optimization, 가치 암묵적 정책 최적화)는 추론 태스크에서 LLM 모델을 훈련하기 위한 강화학습(RL) 방법입니다. UC 버클리의 연구자들(Zhewei Kang, Aosong Feng, Sergey Levine, Dawn Song, Xuandong Zhao)이 개발하여 2026년 6월 19일에 게재하였습니다.

출발점이 된 문제: 인기 있는 방법인 GRPO는 추론 체인에서 어떤 단계가 정답에 기여했는지 잘 구분하지 못하는 약한 크레딧 할당 문제를 가지고 있습니다. 표준적인 해결책은 별도의 비평가 네트워크를 추가하는 것이지만, 이는 훈련을 복잡하게 만들고 비용을 증가시킵니다.

작동 방식: 암묵적 가치 함수

VIMPO는 비평가 네트워크를 훈련하지 않습니다. 대신 KL 정규화 RL의 최적성 조건에서 수학적으로 가치 함수를 도출합니다. 이 함수는 모델의 정책 자체에 암묵적으로 포함되어 있어 추가 구성 요소 없이 크레딧 할당 신호를 얻을 수 있습니다.

결과적으로 비평가 없는 훈련의 실용적 단순성(GRPO와 유사)을 유지하면서 근본적인 단점을 수정한 방법이 만들어집니다.

결과: GRPO보다 일관되게 우수

VIMPO는 테스트한 4개의 벤치마크 모두에서 GRPO를 능가하였습니다:

• MATH-500 — 표준 수학 벤치마크
• AIME 2024 및 AIME 2025 — 난이도 높은 경시 수학
• OlympiadBench — 올림피아드 수준 문제

개선 효과는 일관되며 노이즈가 있는 보상 신호 하에서도 안정적으로 유지됩니다. 이는 자동 채점이 불완전한 실제 응용 환경에서 중요한 특성입니다.

추론 모델 발전에 대한 의의

VIMPO는 이중 네트워크 시스템의 아키텍처적 복잡성 없이 추론 모델을 위한 더 나은 RL 훈련으로 향하는 실용적인 경로를 제공합니다. 비평가 구성 요소의 병렬 훈련 필요성을 제거하므로 제한된 컴퓨팅 자원으로 연구하는 그룹에 특히 적합한 방법입니다.