arXiv:2606.05610: 연속 사전학습을 위한 예측 가능한 하이퍼파라미터 스케일링 법칙

2026년 6월 4일 arXiv에 게재된 학술 논문(식별 번호 2606.05610)은 경험적 스케일링 법칙으로 대규모 언어 모델의 연속 사전학습(continued pre-training) 동안 최적 하이퍼파라미터를 예측하는 프레임워크를 제시한다. 목표는 비싸고 수동적인 하이퍼파라미터 탐색을 예측 가능하고 계산 가능한 규칙으로 대체하는 것이다.

연속 사전학습이란 무엇이며 무엇이 문제인가?

연속 사전학습(CPT)은 이미 학습된 LLM을 새로운 말뭉치로 추가 사전학습하는 단계로 — 예를 들어 특정 도메인, 언어, 또는 데이터 체계에 적응하기 위해 사용된다. 처음부터 학습하는 것과 달리 기존 가중치에서 출발하며, 이는 학습률이나 스케줄 같은 하이퍼파라미터를 어떻게 설정해야 하는지를 바꾼다. 지금까지 이러한 하이퍼파라미터는 대체로 실험적으로 탐색되었는데, 이는 연산상 비싸고 신뢰하기 어렵다. 최적 설정이 연산량과 모델 특성에 따라 달라지기 때문이다.

프레임워크는 어떻게 하이퍼파라미터를 예측하는가?

논문은 경험적 스케일링 법칙 — 연산량을 모델 거동과 연결하는 수학적 관계 — 에 기반한 2단계 접근법을 제시한다. 첫 단계에서는 compute(연산 자원)를 최적 설정으로 매핑하는 함수를, 프록시 모델을 사용해 도출한다. 프록시 모델은 결과를 목표인 더 큰 모델로 외삽하기 전에 법칙을 보정하는 데 쓰이는 더 작고 저렴한 모델이다. 이로써 최적 설정을 소진적으로 탐색하는 대신 사전에 추정한다.

”등가 사전학습 compute”란 무엇인가?

두 번째 단계는 체크포인트의 검증 손실(validation loss)로부터 등가 사전학습 compute의 추정을 도입한다. 발상은 모델의 현재 상태 — 검증 집합에서의 손실로 포착된 — 를, 그 체크포인트가 얼마만큼의 “등가” 사전학습에 해당하는지를 나타내는 양으로 변환하는 것이다. 이 추정은 모델의 실제 상태를 첫 단계의 스케일링 법칙과 연결하여, 다시 비싼 탐색 없이도 학습 지속을 위한 설정을 더 정밀하게 선택할 수 있게 한다.

비용은 얼마나 줄어드는가?

프레임워크의 실용적 가치는 절감에 있다. 저자들은 이 접근법이 하이퍼파라미터 탐색 비용을 최대 90%까지 줄이면서 비슷하거나 더 나은 성능을 달성한다고 밝힌다. 이는 의미가 큰데, 대규모 모델에서의 하이퍼파라미터 탐색은 전체 학습 예산의 상당 부분을 소모할 수 있기 때문이다. 예측 가능한 규칙으로 이 비용이 대부분 제거되며, 결과의 품질은 수동으로 찾은 설정과 같거나 그 이상에 머무른다.

모델 비종속성은 왜 중요한가?

프레임워크는 모델에 구애받지 않는 것으로 — 하나의 아키텍처나 특정 모델에 묶이지 않고 다양한 LLM에 더 폭넓게 적용될 수 있는 것으로 — 기술된다. 이는 실무에서의 유용성을 높이는데, 연속 사전학습을 수행하는 팀이 모델마다 방법론을 새로 개발할 필요가 없기 때문이다. 2단계 절차 및 경험적 스케일링 법칙과 결합되어, 이 프레임워크는 대규모 모델을 새로운 데이터에 더 저렴하고 예측 가능하게 적응시키기 위한 체계적이고 전이 가능한 처방을 제공한다.