arXiv:2606.09380: 추론 경로 토너먼트가 언어 모델 RLVR(강화 학습 검증 보상) 훈련의 영 그래디언트 문제를 해결

RLVR 훈련의 영 그래디언트 문제

RLVR(Reinforcement Learning with Verifiable Rewards)은 언어 모델의 추론 능력을 향상시키는 지배적인 패러다임이 되고 있습니다. 이 방법은 최종 답변의 정확성에 따라 추론 경로에 보상을 부여하며, 이점 추정은 동시에 생성된 샘플 그룹 내에서 상대적으로 계산됩니다.

문제는 그룹 내 모든 추론 경로가 동일한 보상을 받을 때 발생합니다. 모두 정확하거나 모두 부정확한 경우입니다. 표준 그룹 상대적 접근법은 그때 영 그래디언트를 반환합니다. 모델이 어떤 유용한 학습 신호도 받지 못하며 훈련이 정체됩니다. 이 현상은 특히 쉬운 과제(모두 정확)와 어려운 과제(모두 부정확)에서 두드러지는데, 정확한 그래디언트 방향 설정이 가장 중요한 바로 그 지점입니다.

추론 경로 토너먼트는 어떻게 죽은 신호를 해결합니까?

Reasoning Arena는 동일한 보상을 가진 그룹 비교 대신 추론 경로 간 head-to-head 토너먼트를 구성하고 동적 앵커 세트에서 Bradley-Terry 확률 모델을 통해 각 경로의 상대적 강도를 추정합니다. Han Zhou, Adam X. Yang, Laurence Aitchison, Anna Korhonen, Albert Q. Jiang은 2026년 6월 8일 발표한 arXiv:2606.09380 논문에서 이 접근법을 제시하였습니다.

핵심 장점은 새 추론 경로를 모든 다른 경로와 비교할 필요가 없다는 것입니다. 비용이 많이 드는 O(n²) 방식 대신, 선택된 앵커와만 비교합니다. 추론 경로들이 같은 보상을 공유할 때도 추론 품질의 차이가 토너먼트 결과를 통해 드러납니다. 이렇게 영 이점 샘플들이 유용한 그래디언트 단계로 변환되며, 그룹 내 차이에 관한 정보는 만들어내는 것이 아니라 추론 과정 자체에서 추출됩니다.

결과: 더 빠르고, 더 저렴하고, 더 정확하게

경쟁적인 수학·프로그래밍 벤치마크 평가에서 표준 그룹 상대적 접근법 대비 정확도가 +7.6% 향상되었습니다. 또한 훈련 속도가 27~41% 빨라지고 샘플 생성 컴퓨팅이 약 50% 절감됩니다.

저자들은 Reasoning Arena가 단순히 더 효율적일 뿐 아니라 기존 RLVR 훈련 방법보다 비용 효율적인 대안이기도 하다고 결론짓습니다. 비례적인 비용 증가 없이 추론 능력 향상을 원하는 제한된 컴퓨팅 예산을 가진 연구 그룹에게 특히 가치 있습니다.