AWS, Self-Distilled Reasoning로 Amazon Nova 2 수학 정확도를 파인튜닝 후 6%에서 약 68%로 회복

Self-Distilled Reasoning이란 무엇이며 어떤 문제를 해결하는가?

AWS는 훈련 데이터에 chain-of-thought(사고 사슬, 최종 답변에 도달하기 전 모델이 거치는 추론 단계)가 없는 상황에서 Amazon Nova 2 모델을 지도 파인튜닝(supervised fine-tuning, 라벨이 지정된 예시로 모델을 추가 훈련하는 것)하기 위한 기법인 Self-Distilled Reasoning(SDR)을 공개했습니다. 이러한 데이터는 실무에서 흔합니다. 기업들은 질문-답변 쌍은 보유하고 있지만 추론 경로는 기록하지 않은 경우가 많아, 모델이 스스로 추론하도록 훈련시키기가 어렵습니다.

일반적인 파인튜닝이 전반적인 성능을 왜 망가뜨리는가?

추론 흔적이 없는 좁은 데이터로 모델을 직접 파인튜닝하면(일반 SFT), 모델의 전체 수학 성능은 기본 모델의 70%에서 단 6%로 급락합니다—이는 재앙적 망각(catastrophic forgetting)이라 불리는 현상으로, 지나치게 좁은 사후 훈련으로 인해 이전에 학습한 능력을 잃어버리는 것을 말합니다. 모델은 좁은 작업에서는 우수해지지만, 이전에 가지고 있던 수학 문제 해결 능력을 잃게 됩니다.

SDR은 모델이 스스로 훈련 데이터를 생성하게 한다

AWS가 제안하는 해결책은 기본 Nova 2 Lite 모델을 사용해, chain-of-thought 흔적이 없는 기존 훈련 데이터에 대해 사람의 라벨링 없이 스스로 이를 생성하게 하는 것입니다. 이렇게 보강된 데이터는 이후 목표 모델의 파인튜닝에 사용됩니다. 그 결과, SDR은 목표 작업에서 6.5% 이상의 상대적 성능 개선을 달성하는 동시에 전체 수학 정확도를 6%에서 약 68%로 회복시킵니다—이 차이는 파인튜닝 과정에서 추론 능력을 보존하는 것이 모델의 다른 기술에 대한 부수적 피해를 얼마나 줄이는지를 보여줍니다.

세 가지 서로 다른 벤치마크에서 테스트

AWS는 이 방법을 서로 다른 영역의 세 가지 벤치마크에서 테스트했습니다: MedMCQA(의료 질문), CoCoHD, Invoice-OCR(송장 처리). 세 가지 무관한 작업 전반에서 일관된 결과가 나온 것은, SDR이 단일 데이터 유형에 국한된 편협한 해결책이 아니라 원본 데이터에 추론 흔적이 애초에 존재하지 않을 때 적용할 수 있는 일반적인 파인튜닝 접근법임을 시사합니다.