기초
창발적 능력 (emergent abilities)
작은 모델에는 없다가 규모가 커지면 갑자기 나타나는 능력으로, 논쟁적인 주장입니다. 비판자들은 이 급격한 도약을 비선형 평가 지표 선택의 산물로 봅니다.
**창발적 능력 (emergent abilities)**은 Wei et al.(2022)의 정의에 따르면 작은 모델에는 존재하지 않지만 큰 모델에는 나타나는 능력으로, 작은 모델의 성능 곡선을 외삽해서는 예측할 수 없는 능력을 말합니다. 자주 인용되는 예로는 인컨텍스트 학습, 지시 따르기, 단계별 추론(추론 모델 참조)이 있습니다.
대규모 언어 모델이 파라미터 수와 학습 데이터에서 커질수록, 일부 작업에서는 정확도가 오랫동안 무작위 추측 수준에 머무르다가 특정 임계값을 넘으면 급격히 뛰어오릅니다. 이 갑작스러운 “상전이”로 인해 연구자들은 규모가 풀어내는 질적으로 새롭고 계획되지 않은 능력에 대해 이야기하게 되었습니다.
이 주장은 논쟁적입니다. Schaeffer et al.(2023, NeurIPS Outstanding Paper)은 이 급격함이 흔히 비선형 평가 지표(정확 일치 정확도 등) 선택에서 비롯됨을 보였습니다. 연속적인 지표를 쓰면 개선이 매끄럽고 예측 가능해져 “창발”이 사라집니다. 이 논쟁은 2025-2026년에도 활발한데, 프런티어 모델의 위험 예측과 벤치마크 결과 해석에 직접 영향을 미치기 때문입니다.