공식 이론, LLM의 반복적 반성이 기하급수적 개선을 가져오는 시점을 정확히 정의하다

언어 모델의 반복적 자기 개선, 즉 동일한 세션 내에서 해결책을 생성하고 비판하고 수정하는 것은 현대 AI 시스템의 정확도를 높이는 가장 자주 사용되는 기법 중 하나다. 그런데 실제로 얼마나 도움이 되는지, 그리고 어떤 조건에서 도움이 되는지는 명확하지 않았다. Yotam Wolf, Noam Wies, Amnon Shashua 연구진이 첫 번째 엄밀한 이론적 답을 제시했다. in-context search가 기하급수적 이득을 가져오는 시점과 독립적인 해결책의 병렬 생성만큼 무용한 시점을 정확히 정의하는 공식적 베이즈 프레임워크다.

in-context search를 위한 베이즈 프레임워크

연구는 반복적 반성을 추론 체인에 대한 근사 베이즈 추론으로 모델링한다. 기본 언어 모델은 가능한 문제 해결 경로에 대한 사전 분포를 정의한다. 각 자기 비판 단계는 베이즈 통계에서 새로운 증거가 그럴듯한 가설의 공간을 좁히고 상충되는 결론을 제거하는 것과 유사하게, 해당 분포를 사후 분포로 업데이트하는 증거 역할을 한다.

이 공식적 프레임워크는 구체적인 분석적 이점을 가져온다. rejection sampling(나쁜 해결책 거부), best-of-N 전략(N개의 병렬 샘플 중 최선 선택), 반복적 비판(멀티턴 자기 수정)은 별개의 서로 무관한 방법이 아니다. 모두 피드백을 기반으로 샘플링 분포를 업데이트하는 동일한 근본 메커니즘의 특수 사례다. 프레임워크는 지금까지 공통된 이론적 기반 없이 병렬로 발전해온 기법들을 비교하는 단일한 렌즈를 제공한다.

반복적 반성은 언제 기하급수적 개선을 가져오는가?

핵심 변수는 모델이 몇 번 시도하느냐가 아니라, 오류 위치를 얼마나 정확하게 파악할 수 있느냐다. 반성이 추론 체인에서 초기 오류를 안정적으로 식별할 때 순차적 시도는 기하급수적 성능 향상을 가져온다. 모델은 다항식 수의 순차적 시도만으로 기하급수적으로 낮은 zero-shot 통과율을 가진 문제를 해결할 수 있다.

직관은 기하학적이다. 오류의 정확한 국소화는 각 후속 시도가 더 많은 정보를 가진 출발점에서 시작됨을 의미한다. 탐색 공간은 반복할 때마다 기하학적으로 좁아지고, 각 반성 단계는 잘못된 해결책의 전체 클래스를 제거한다. 모든 이전 피드백에 대한 누적적 조건화는 잘못된 결론의 확률을 기하급수적으로 감소시킨다.

저자들은 실제 추론 모델에서 핵심 이론적 예측을 경험적으로 테스트하고 공식적 진술과의 일관성을 확인했다. 이는 수학적 주장에 경험적 토대를 제공한다.

순차적 조건화의 점근적 한계

이론은 부정적 사례에 대해서도 동등하게 명확하다. 모델이 모호한 피드백, 검증자의 부재, 또는 과제의 본질적 모호성으로 인해 오류 위치를 안정적으로 파악할 수 없을 때, 순차적 조건화는 병렬 샘플링에 비해 점근적 우위를 제공하지 않는다.

이러한 시나리오에서 N개의 독립적인 시도를 실행하고 최선을 선택하는 것은 N번의 순차적 반성 반복과 동등하게 효과적이다. 그러나 병렬 접근 방식이 실제로는 더 빠르고, 확장하기 쉽고, 긴 대화 컨텍스트를 관리할 필요가 없다. 안정적인 오류 국소화 메커니즘 없는 긴 자기 수정 체인은 측정 가능한 점근적 이득 없이 컴퓨팅을 소비한다.

학습 가능성과 강화 학습과의 연관성

연구는 현대 AI 시스템 설계와 관련된 두 가지 추가 결과를 제시한다. 첫째, 정확한 베이즈 추론을 수행하지 않는 실제 언어 모델에서 자연스럽게 발생하는 근사 사후 업데이트가 요구되는 정밀도를 충족한다. 완벽한 베이즈 계산은 기하급수적 개선을 달성하기 위한 전제 조건이 아니다.

둘째, 필요한 동작은 다항식 샘플 복잡도로 search rollout에 대한 cross-entropy 훈련으로 학습 가능하다. 수학 과제나 자동 검증기가 있는 프로그래밍 과제에서 모델을 훈련할 때 사용되는 검증 가능한 보상을 갖춘 단계별 강화 학습에서, 최적 정책은 이론에서 설명된 사후 가중치 규칙을 자동으로 구현한다. 검증 가능한 보상이 있는 도메인에서 최신 RL로 훈련된 모델은 명시적 감독 없이 이 메커니즘을 이미 암묵적으로 학습하고 있을 수 있다.

AI 시스템 설계자를 위한 실용적 기준

연구는 실무자에게 아키텍처 결정을 위한 구체적인 기준을 제공한다. 과제가 오류를 국소화할 수 있는 안정적인 검증자, 즉 수학적 검증, 코드 실행, 형식 검증, 논리 시스템의 일관성 검사 등을 갖추고 있다면, 순차적 반성은 기하급수적 이득을 가져오며 반복적 비판을 갖춘 멀티턴 인프라 투자를 정당화한다.

그러한 검증자 없이는 병렬 샘플링이 더 합리적이고 비용 효율적인 선택이다. 이는 실제에서 꾸준히 나타나는 경험적 양상을 이론적으로 정당화한다. 모델의 자기 수정은 수학, 논리 퍼즐, 프로그래밍에서 탁월하게 작동하지만, 무엇이 정확히 문제인지 정량화하기 어렵고 오류의 정확한 국소화가 미해결 과제로 남아 있는 글쓰기나 분석과 같은 개방형 도메인에서는 훨씬 약한 성능을 보인다.