arXiv:2607.11598: 상호작용이 테스트 시 계산의 「세 번째 축」 — 오류 최대 74% 제거

테스트 시 계산과 세 번째 축이 필요한 이유

테스트 시 계산은 모델이 추론 중 소비하는 추가 계산을 의미합니다——한 번의 답변 대신, 더 길게 생각하거나, 여러 후보를 생성하거나, 외부 시스템과 소통하여 정확도를 높입니다. 지금까지 연구자들은 두 가지 표준 축을 구분했습니다: 확장된 사고(사고 연쇄, 단계별 추론)와 best-of-N 샘플링(N개의 답변을 생성하고 최선의 것을 선택). arXiv:2607.11598의 저자 Bojie Li와 Noah Shi는 이 두 축이 정체 현상에 도달한다고 주장하며 세 번째 축을 제안합니다.

상호작용 축이란 무엇이며 왜 정체 현상에 도달하지 않습니까?

상호작용은 세 번째 축입니다: 모델이 외부 도구(예: 컴파일러, 코드 실행기, 검색 엔진)와 소통하고 피드백을 기반으로 출력을 반복적으로 개선합니다. 단독 사고와 best-of-N과 달리, 상호작용은 정체 현상에 도달하지 않습니다. 각 도구의 피드백이 모델이 스스로 생성할 수 없는 새로운 신호를 가져오기 때문입니다. 비교는 명확합니다: 더 긴 사고와 샘플링은 모델 내부에서 순환하는 반면, 상호작용은 외부적 현실 검증을 도입합니다.

제안자-검토자 시스템과 측정 도구

구체적인 구현은 제안자-검토자 시스템입니다. 하나의 에이전트가 해결책을 제안하고, 다른 에이전트가 도구와의 상호작용을 통해 이를 비판합니다. 결과: 테스트된 작업 집합에서 100% pass rate ——더 긴 사고 연쇄도 best-of-N도 달성하지 못한 수치입니다.

저자들은 또한 네 가지 모달리티(텍스트, 시각, 코드, 수학)로 품질을 평가하는 표준화된 측정 도구를 도입합니다. 이 도구는 모달리티에 따라 40~74%의 결함을 제거합니다. 도구 없는 VLM과의 비교는 시사적입니다: 상호작용 축이 없는 시각 언어 모델은 의도적으로 손상된 15개의 그림 중 14개를 완벽하다고 평가합니다——거의 모든 결함을 놓치는 것입니다.

모델 개발에 대한 시사점

본 연구는 더 긴 사고 연쇄나 더 많은 샘플만으로 테스트 시 계산을 확장하는 것에는 자연스러운 한계가 있음을 시사합니다. 컴파일러, 테스트, 검색 엔진 등 도구와의 상호작용은 그 한계를 돌파할 수 있는 경로를 제시합니다. 실무자에게 이는 피드백 루프를 갖춘 에이전트 시스템 아키텍처가 단순한 엔지니어링 기법이 아니라 확장의 근본 메커니즘임을 의미합니다.