RA-RFT: 유추에 의한 추론을 학습하는 새 강화 학습 방법으로 수학적 추론 7.1점 향상

연구팀이 arXiv 플랫폼에 언어 모델의 미세 조정을 위한 새 접근법 RA-RFT(Retrieval-Augmented Reinforcement Fine-Tuning)를 발표했습니다. 유추 학습과 피드백 기반 강화 훈련을 결합하여 수학적 추론을 향상시키는 방법입니다.

핵심 혁신은 무엇을 하느냐가 아니라 무엇을 선택하느냐에 있습니다. 표준 의미적으로 유사한 예시 검색 대신, RA-RFT는 추론에 유용한 예시를 찾도록 학습합니다 — 그리고 이것이 차이를 만드는 구분입니다.

근본 문제: 의미적 유사성 ≠ 해결 유용성

예시 검색(retrieval-augmented generation, RAG)에 의존하는 언어 모델은 일반적으로 의미적 유사성으로 지식 베이스를 검색합니다. 「어떤 예시가 이 문제와 비슷한가?」

그러나 RA-RFT 저자들은 비판적 관찰을 한 단계 더 나아갑니다. 의미적으로 유사한 문제는 완전히 다른 해결 전략을 요구할 수 있고, 반면 겉으로는 관련 없어 보이는 문제들이 때로 동일한 근본 추론 패턴을 공유합니다.

예: 두 수학 문제가 동일한 표기법과 용어를 사용하지만 완전히 다른 방법으로 풀 수 있습니다. 반대로, 조합론 문제와 그래프 이론 문제가 모델이 배워야 할 동일한 논리적 도약을 공유할 수 있습니다. 클래식 검색은 잘못된 예시를 선택합니다.

RA-RFT는 이 문제를 어떻게 해결하나?

프레임워크는 두 가지 핵심 구성 요소로 이루어집니다.

첫 번째는 골든 관련성 증류(gold-relevance distillation)입니다. 의미적 유사성이 아닌 추론에 대한 예상 유용성 — 선택된 예시가 실제로 모델이 작업을 해결하는 데 얼마나 도움이 될지 — 을 측정하는 별도의 검색 모델을 훈련합니다. 이 리트리버는 어떤 예시가 올바른 솔루션으로 이어지는지에 대한 데이터에서 학습합니다. 유사해 보이는 것이 아닌.

두 번째 구성 요소는 GRPO(Group Relative Policy Optimization) 알고리즘에 기반한 강화 미세 조정(reinforcement fine-tuning)입니다. 모델(policy)이 검색된 유추 예시를 스캐폴드로 삼아 훈련됩니다 — 복사하도록 맡겨진 것이 아니라 대안적 해결 전략을 보여주는 길잡이로 사용됩니다. 학습된 기술은 수학적 해결책의 정확성과 같은 검증 가능한 결과를 통해 검증됩니다.

새로운 스케일링 축으로서의 RA-RFT

저자들은 특히 한 가지 주장을 강조합니다. RA-RFT가 가져오는 개선은 기존 스케일링 축에 직교합니다.

언어 모델 강화 학습의 현대 연구는 주로 두 가지 축을 따라 스케일링합니다. 더 나은 보상 설계(reward design)와 더 나은 훈련 스케줄(curriculum). RA-RFT는 세 번째 축 — 검색된 예시의 품질과 관련성을 독립적으로 최적화하고 개선할 수 있는 별도 차원 — 을 도입합니다.

이는 RA-RFT가 충돌 없이 기존 방법과 결합될 수 있음을 의미하며, 이미 GRPO나 유사한 접근법을 사용하는 스택에 잠재적으로 매력적인 도구입니다.

AIME 2025에서의 설득력 있는 결과

언어 모델의 수학적 추론 평가를 위한 표준 테스트인 AIME 2025(American Invitational Mathematics Examination) 벤치마크에서 RA-RFT는 측정 가능한 이득을 제공합니다.

• Qwen3-1.7B 모델이 기준 GRPO 훈련 대비 average@32 메트릭에서 7.1점 향상
• Qwen3-4B 모델이 동일 방법론으로 2.8점 향상

검색된 예시는 정확도를 높일 뿐만 아니라 보완적인 해결 전략을 보여줍니다 — 모델이 솔루션에 더 많은 경로를 갖게 되어 강건성이 높아집니다.

유추 학습의 중요성

유추에 의한 추론은 인간의 근본적인 인지 메커니즘 중 하나입니다. 새로운 문제를 만났을 때 직관적으로 이미 해결한 유사한 문제를 찾고 「그때 무엇을 했으며 여기서도 유효한가?」라고 묻습니다.

AI 시스템에게 이 메커니즘은 지금까지 표면적 수준에 한정되었습니다 — 시스템들은 비슷해 보이는 문제를 찾았지만, 반드시 도움이 되는 문제를 찾지는 못했습니다.

모델 훈련에 대한 잠재적 영향

RA-RFT는 포스트 트레이닝 프레임워크입니다. 즉, 기반 모델의 초기 훈련 이후에 적용됩니다. 이를 통해 처음부터 비용이 많이 드는 재훈련 없이 기존 모델과 호환됩니다.

저자들은 Qwen3 계열 모델로 실험했지만, 방법론은 원칙적으로 적절한 검색 예시 기반을 갖춘 모든 언어 모델에 적용 가능합니다.

개선 영역은 수학에만 국한되지 않습니다. 명확하게 정의된 해결 벡터를 가지고 충분한 예시를 보유한 모든 도메인이 동일한 논리에서 혜택을 받을 수 있습니다. 코드, 형식 논리, 법률이 자연스러운 다음 단계입니다.