arXiv:2606.07950: CoDaPO — 추론을 위한 신뢰도/난이도 적응형 RL 최적화

arXiv는 2026년 6월 6일 CoDaPO를 제시하는 논문(식별자 arXiv:2606.07950, 버전 v1, 02:51 UTC)을 공개했다. 이는 추론 모델 훈련을 위한 신뢰도/난이도 적응형 정책 최적화 방법이다. 논문은 RL 훈련(강화 학습)에서 반복되는 문제의 분석에서 출발한다.

RL 훈련에서는 어떤 동역학이 나타나는가?

저자들은 강화 학습 훈련에서 반복되는 세 가지 동역학을 식별한다. 첫 번째는 confidence inflation(신뢰도 팽창)으로, 실제 정확도와 무관하게 모델이 자기 답에 점점 더 확신을 갖게 되는 현상이다.

두 번째는 advantage contraction(어드밴티지 수축)으로, 각 예제의 유용성 차이가 줄어들어 학습을 어렵게 만든다. 세 번째는 hierarchical convergence(계층적 수렴)로, 모델이 층별로 수렴하는 패턴이다. 이 세 가지 동역학이 함께, 표준 RL 훈련이 왜 연산을 비효율적으로 소비하는지를 설명한다.

CoDaPO란 무엇이며 어떻게 작동하는가?

이러한 문제들에 대한 대응으로 논문은 CoDaPO를 제안한다. 이 방법은 rollout confidence(답을 생성하는 동안의 신뢰도)와 개별 문제의 경험적 난이도를 바탕으로 문제에 중요도를 부여한다.

그 평가를 바탕으로 CoDaPO는 이어서 policy update(정책 갱신 단계)를 재가중(reweight)한다. 이로써 훈련은 모든 예제를 똑같이 다루는 대신 학습에 가장 크게 기여하는 예제로 인도된다.

왜 학습 가능한 문제가 초점인가?

핵심 아이디어는 고정된 연산 예산 안에서 “학습 가능한” 문제를 우선하는 것이다. 이는 지나치게 쉽지도 풀 수 없지도 않은, 바로 모델이 가장 많이 배울 수 있는 문제들이다.

모델이 이미 확실하게 푸는 문제와 여전히 어려운 문제를 구별함으로써 CoDaPO는 진전을 가져오지 못하는 예제에 자원을 낭비하는 것을 피한다. 이로써 같은 연산 자원 예산이 훨씬 더 목적에 맞게 쓰인다.

이 방법은 얼마나 큰 향상을 가져오는가?

논문에 따르면 CoDaPO는 기존 RL 방법 대비 12개 벤치마크에서 일관된 향상을 달성한다. 이는 단일 테스트에서의 고립된 결과가 아니라 폭넓은 과제 집합에 걸친 꾸준한 진전이다.

이 방법의 목표는 모델이 이미 푸는 문제와 여전히 어려운 문제를 구별함으로써 이루는 더 효율적인 연산 배분이다. 바로 이 표적화된 자원 배분이 기록된 향상의 배경에 있다.

왜 이 접근이 중요한가?

이 논문이 흥미로운 이유는 추론 모델 훈련의 문제를 단순히 자원을 늘리는 것이 아니라 주의의 배분 문제로 설정한다는 점이다. CoDaPO는 연산을 단순히 늘리는 대신 더 영리하게 인도한다.

이로써 제한된 예산 조건에서 모델을 더 효율적으로 훈련하는 길이 열린다. 고정된 자원으로 작업하는 연구자에게 이러한 적응형 접근은 추가 비용 없이 더 나은 결과를 의미할 수 있다.