arXiv:2605.03871: EvoLM — 외부 감독 없이 자가 개선하는 언어 모델

arXiv의 새로운 연구는 외부 감독에 대한 의존성을 완전히 제거하는 포스트 트레이닝 방법을 소개합니다. EvoLM은 언어 모델이 소위 “판별적 루브릭”이라고 불리는 명시적 기준 척도를 사용하여 자가 개선할 수 있도록 합니다. 이 루브릭은 반복 훈련을 통해 정책 모델과 공동으로 진화합니다.

이 접근법의 차별점은 무엇입니까?

기존 RLHF(인간 피드백 강화 학습——인간의 출력 평가를 사용한 파인튜닝 방법)는 인간 레이블링이나 이를 기반으로 훈련된 독립적인 보상 모델이 필요합니다. EvoLM은 대신 시간적 대조를 사용합니다. 모델의 이전 출력을 새로운 출력과 비교하고, 그 차이에서 루브릭 개선 신호를 추출합니다.

시스템은 모델에 내재된 평가 능력을 명시적 루브릭으로 구조화하고, 이를 정책과 교대로 훈련합니다. 이를 통해 생성기와 평가기가 동일한 기반을 공유하면서 비동기적으로 발전하는 루프가 형성됩니다.

업계 벤치마크를 이동시키는 수치

Qwen3-8B 루브릭 생성기는 RewardBench-2에서 GPT-4.1을 25.7 퍼센트 포인트 앞서고, 기존 최첨단 보상 모델인 SkyWork-RM(8B)을 16 퍼센트 포인트 초과합니다. 이 방법으로 훈련된 정책은 OLMo3-Adapt 평가 스위트에서 69.3%를 달성합니다.

이는 오픈 소스의 비교적 소규모 모델이 평가자 역할에서 프론티어 모델을 능가하는 드문 사례입니다——지금까지 이 영역은 대형 폐쇄형 시스템의 전유물이었습니다.

RLHF 생태계에 의미하는 바는 무엇입니까?

결과가 독립적인 재현에서 확인된다면, EvoLM은 더 저렴하고 투명한 훈련으로의 길을 열어줍니다. 보상 모델은 다른 모델의 출력 품질을 평가하는 모델이고, 루브릭은 명시적 기준 척도입니다. GPT-4.1과 Claude 평가 시스템의 오픈 대안은 중요한 훈련 단계에서 외부 API 의존성을 원하지 않는 연구팀과 기업에 특히 중요합니다.

모델이 자가 평가할 때 이 방법이 “보상 해킹”에 얼마나 견고한지는 미해결 문제로 남아 있지만, 공개 벤치마크 결과는 시간적 대조가 품질 붕괴에 대해 충분한 보호를 제공한다는 것을 시사합니다.