arXiv:2606.06888: 데이터 제약 하의 사전학습 — 스케일링 법칙 SoftQ와 정규화 MIR

연구진은 2026년 6월 5일 arXiv 저장소에 가용 compute(연산 능력)가 가용 자연 텍스트 데이터보다 빠르게 증가하는 조건에서의 언어 모델 사전학습(pre-training)을 다루는 논문(식별번호 arXiv:2606.06888)을 공개했다. 이 논문은 두 가지 핵심 신규 기법을 제시한다: 정규화 기법 MIR과 SoftQ라 명명된 스케일링 법칙이다.

데이터 부족은 왜 문제가 되는가?

현대의 언어 모델은 점점 더 많은 연산 능력으로 학습되지만, 인터넷에 존재하는 양질의 고유 텍스트 양은 무한하지 않다. compute가 가용 데이터보다 빠르게 증가하면, 팀들은 동일한 데이터를 여러 번 사용할 수밖에 없는데, 이를 데이터 반복 노출(data repetition)이라 한다.

문제는 동일한 예시의 반복이 과적합(overfitting)으로 이어진다는 것이다 — 모델이 일반화를 학습하는 대신 데이터를 암기하기 시작한다. arXiv:2606.06888 논문은 바로 이 시나리오를 겨냥하여, 제한된 데이터셋에서 더 많은 유용한 정보를 끌어내는 방법을 제안한다.

masked-input 정규화(MIR)란 무엇인가?

논문의 핵심 기여는 MIR(masked-input regularization), 즉 마스킹된 입력을 통한 정규화다. 이는 학습 중 무작위로 마스킹된 입력에서 계산되는 보조 next-token 손실(다음 토큰 예측)이다. 입력의 일부를 마스킹함으로써 모델은 표면적 패턴에 의존하는 대신 더 견고한 표현을 학습하도록 강제된다.

저자들은 MIR을 7,200만 파라미터부터 14억 파라미터 크기의 모델에서 테스트했다. 결과는 MIR + weight decay(가중치 감쇠) 조합이 weight decay 단독 사용을 능가하며, 14억 파라미터 모델에서 측정 가능한 downstream 이득(사전학습 이후 이어지는 작업에서의 개선)을 보임을 나타낸다.

스케일링 법칙 SoftQ는 무엇을 가져오는가?

두 번째 신규 기법은 새로운 스케일링 법칙인 SoftQ다. 스케일링 법칙은 모델 크기와 데이터 양의 변화에 따라 모델 성능이 어떻게 변하는지를 수학적으로 기술한다. 가장 잘 알려진 그러한 법칙인 Chinchilla는 데이터 반복 노출 상황을 잘 포착하지 못하는 가산적 접근을 사용한다.

SoftQ는 데이터가 반복될 때 모델 크기와 데이터 사이의 상호작용을 더 잘 모델링하기 때문에 제한된 데이터 조건을 위해 설계되었다. 이는 팀들이 실제의 데이터 제약 환경에서 얼마나 많은 데이터와 파라미터가 필요할지를 더 정밀하게 예측하는 도구를 제공한다.

이 이득은 얼마나 가치가 있으며 코드는 이용 가능한가?

저자들은 MIR의 이득을 데이터 양과의 비교로 정량화한다: 개선이 고유 데이터 약 1.3배에 해당한다고 추정한다. 다시 말해, MIR을 적용하면 모델은 동일한 데이터셋에서 통상 훨씬 더 큰 데이터셋에서 얻을 만큼을 끌어낸다.

커뮤니티에 특히 의미 있는 점은 저자들이 코드를 오픈소스로 공개하여, 다른 연구자들이 결과를 재현하고 자신의 모델에서 MIR과 스케일링 법칙 SoftQ를 테스트할 수 있게 했다는 것이다. 가용 데이터의 한계에 다가가고 있다는 목소리가 점점 커지는 시대에, 이러한 접근은 사전학습 레시피의 표준적인 일부가 될 수 있다.