Direct-OPD: 약한 모델이 비싼 RL 없이 강한 모델을 훈련하는 방법

검증 가능한 보상을 통한 강화 학습으로 언어 모델을 훈련하는 RLVR 접근 방식은 현대 AI 모델의 추론 능력에서 가장 인상적인 개선 중 일부를 낳았습니다. 그러나 이 접근 방식은 실질적인 비용이 따릅니다: 새롭고 더 강한 모델은 각각 자체적인 비용이 많이 드는 RL 캠페인이 필요하며, 보상으로부터 학습하면서 수천 개의 롤아웃을 생성해야 합니다. 모델이 크기 면에서 성장함에 따라 포스트 트레이닝 자체가 스케일링의 병목이 됩니다.

칭화대학교와 Zhipu AI 연구자들이 2026년 7월 6일 발표한 논문에서 이 문제에 대한 우아한 해결책을 제안했습니다 — Direct On-Policy Distillation(Direct-OPD)이라는 방법입니다.

RL이 새로운 모델마다 왜 비싼가요?

이 문제에 대한 기존 답변은 ‘weak-to-strong’ 증류로 알려진 접근 방식이었습니다: 더 작고 저렴한 모델에서 RL을 훈련한 다음 그 모델을 더 강한 타겟 모델의 교사로 사용하는 것입니다. 그러나 이 접근 방식의 순진한 구현은 잘 작동하지 않습니다. 약한 RL 훈련 모델의 최종 정책은 RL이 가져온 유용한 이득과 더 작은 모델의 고유한 한계를 혼합합니다. 더 강한 모델이 그러한 정책을 모방할 때 이득과 함께 한계도 가져옵니다.

문제는 개념적입니다: 최종 정책의 직접 증류는 RL이 실제로 무엇을 배웠는지를 전달하지 않습니다 — 더 강한 모델이 이미 약한 모델보다 더 잘 아는 모든 것도 전달합니다. 순수한 RL 신호 대신, 더 강한 모델은 더 작은 모델의 약점도 포함된 패키지를 받습니다.

Direct-OPD: 정책이 아닌 변화 전달

Direct-OPD의 핵심 통찰은 방법론적으로 정확합니다: 약한 모델이 말하는 것을 모방하는 대신, Direct-OPD는 RL이 약한 모델에서 무엇을 변화시켰는지를 추출합니다.

이 방법은 약한 모델의 RL 이후 체크포인트를 RL 이전 참조 체크포인트와 비교합니다. 두 분포의 로그 비율(log-ratio)은 RL이 어떤 행동을 더 가능하게 만들고 어떤 것을 덜 가능하게 만들었는지를 드러냅니다 — 그 신호를 더 작은 모델의 고유한 약점과 혼합하지 않고. 이 로그 비율은 그런 다음 자체 온폴리시 상태에서 롤아웃을 생성하는 더 강한 학생에 대한 밀도 있는 암묵적 보상으로 사용됩니다.

결과는 명시적 보상 모델 훈련 없이, 타겟 대형 모델에서 희소 보상 RL을 실행하지 않고도 스케일 수준 간에 RL 감독 신호를 직접 전달하는 방법론입니다. 계산 비용은 약한 모델에 떨어지고 신호는 더 강한 모델이 활용합니다.

결과: 엘리트 벤치마크에서 +14.1 퍼센트 포인트

경험적 결과는 명확합니다. 가장 강력한 모델의 추론을 측정하는 표준 척도인 경쟁 수학 문제 세트인 AIME 2024 벤치마크에서 Direct-OPD는 Qwen3-1.7B를 **48.3%에서 62.4%**로 14.1 퍼센트 포인트 향상시켰습니다.

이 결과는 단 8개 A100 GPU에서 4시간의 훈련으로 달성되었으며 — 실험실 맥락 밖에서의 방법의 실용적 실현 가능성을 보여주는 기간입니다. 더욱이 Direct-OPD는 동일한 단계 수(스텝 매칭 직접 RL)로 더 강한 모델에 대한 직접 RL을 능가합니다: 동일한 투자된 연산량으로 더 나은 결과를 달성합니다.

이 방법은 또 다른 가치 있는 특성을 보여줍니다: 여러 RL 개선의 순차적 스태킹을 가능하게 합니다. 여러 다른 RL 실험의 변화를 연속적으로 적용할 수 있습니다 — 서로를 무너뜨리지 않고 결합되는 모듈식 레이어로. 이는 여러 전문 RL 캠페인의 결과를 활용하는 더 복잡한 개선 체인 구축 가능성을 열어줍니다.

수퍼얼라인먼트와 확장 가능한 감독에 대한 시사점

Direct-OPD 연구는 AI 안전의 근본적인 미해결 문제 중 하나인 수퍼얼라인먼트, 즉 확장 가능한 감독에 닿아 있습니다. 문제는 자신의 감독자보다 더 유능한 AI 모델을 어떻게 감독할 수 있느냐는 것입니다.

Direct-OPD는 구체적인 기여를 제공합니다: RL 이득이 본질을 잃지 않고 스케일 위로 전달될 수 있음을 보여줍니다. RL 훈련을 받은 약한 모델은 자신의 약점을 전달하지 않고 더 강한 모델의 보정기 역할을 할 수 있습니다. 저자들은 이 교훈을 명시적으로 공식화합니다 — RL 결과는 단순히 최종 모방 모델이 아닌 모델 스케일 수준 간의 암묵적 보상 신호로 사용될 수 있습니다.

이는 다양한 도메인의 연속적인 RL 개선 스태킹과 계층적 감독 체계 구축을 포함하는 연구 방향을 열어줍니다 — 각 수준이 약한 수준으로부터 배우지만 그 고유한 한계를 능가하는 시스템.

논문은 arXiv(2607.05394)에서 이용 가능하며, bytedtsinghua-sia.github.io/Direct-OPD/ 프로젝트 페이지에서 코드와 체크포인트 공개를 발표합니다.