훈련
맥락 내 학습 (In-Context Learning)
맥락 내 학습은 언어 모델이 프롬프트에 주어진 예시나 지시만으로 새로운 작업을 학습하는 능력으로, 가중치를 전혀 갱신하지 않고 퓨샷 또는 제로샷 시연에 의존해 추론 시점에 수행한다.
맥락 내 학습(In-Context Learning, ICL)은 대규모 언어 모델이 프롬프트 안에 주어진 예시나 지시만으로 새로운 작업을 수행하는 능력으로, 가중치를 전혀 갱신하지 않는다. 모델의 파라미터를 영구적으로 바꾸는 파인튜닝과 달리 ICL은 일시적이다. 모델은 현재 세션에서만 “학습”하며 그 지식을 추론 시점에 곧바로 적용한다.
제공하는 예시의 수에 따라 형태가 나뉜다. 제로샷에서는 모델에 작업 설명만 주어지는 반면, 퓨샷에서는 입력–출력 쌍 몇 개를 제시해 원하는 패턴을 추론하게 한다. 이 용어는 GPT-3(Brown 외, 2020)로 널리 알려졌는데, 충분히 큰 모델이 “오직 텍스트만으로, 어떠한 경사 갱신도 없이” 새로운 작업을 해결할 수 있음을 보여 주었다.
ICL은 모델 규모가 커질수록 강해지는 창발적 능력의 하나로 널리 여겨진다. 2025~2026년에는 거대한 컨텍스트 윈도가 보편화되면서 그 실용적 가치가 커지고 있다. 수백 개의 예시를 쓰는 메니샷 ICL은 일부 작업에서 파인튜닝된 모델에 근접한 성능을 내며, 사고의 연쇄와 같은 기법의 토대가 되기도 한다.