LLM-as-a-Verifier: 검증, 언어 모델 스케일링의 새 네 번째 축

세 가지 패러다임이 지난 몇 년간 언어 모델의 발전을 정의했습니다: 사전 훈련 스케일링, 명령어 따르기를 통한 사후 훈련 파인튜닝, 그리고 모델이 추론 시점에 솔루션 생성 및 검증에 더 많은 컴퓨팅 파워를 사용하는 테스트 타임 컴퓨트. 그러나 Stanford와 UC Berkeley 연구자들은 그 삼위일체에 핵심 요소가 누락되어 있다고 주장합니다.

2026년 7월 6일 발표한 논문에서 그들은 검증 — 솔루션의 정확성을 평가하는 능력 — 을 LLM의 새로운 네 번째 스케일링 축으로 식별합니다. 이는 기존 접근 방식과 직교하며 그것들과 독립적인 개선을 가져올 수 있습니다.

세 가지 스케일링 패러다임 — 그리고 누락된 네 번째?

논거는 개념적으로 단순하지만 방법론적으로 깊습니다. 어려운 문제를 풀 수 있는 언어 모델이 반드시 다른 사람의 솔루션이 맞는지 알 필요는 없습니다. 생성 능력과 검증 능력은 독립적으로 발전할 수 있는 두 개의 별도 차원입니다.

세 가지 기존 스케일링 패러다임이 모두 방정식의 생성 측면을 개선하는 동안, 검증 능력은 개발의 별도 축으로 상대적으로 탐구되지 않았습니다. 이 공백은 자율 시스템이 장기 작업을 실행하고, 코드를 작성하고 실행하며, 파일을 관리하거나 외부 서비스와 통신하는 에이전트 맥락에서 특히 두드러집니다. 그러한 시스템에서 외부 감독 없이 실시간으로 어떤 행동이나 중간 결과가 옳은지 인식하는 능력 — 신뢰할 수 있고 안전한 작업의 기본 전제 조건입니다.

이진 판단 대신 연속 검증 신호

검증에 대한 클래식 접근 방식은 이진 판단으로 귀결됩니다: 솔루션이 맞거나 틀리거나. 이 프레임워크는 질적으로 다른 접근 방식으로 대체합니다. 이산 결과 대신 검증자는 스코링 토큰의 로짓 분포에 대한 기댓값으로 연속 점수를 계산합니다 — 이진 판단이 정밀도를 잃는 곳에서 세밀한 피드백을 제공하는 확률론적 접근 방식입니다.

프레임워크는 세 가지 독립적인 축을 따라 검증 능력을 스케일링합니다:

점수 세분성은 검증자가 솔루션을 평가하는 세밀한 수준을 말합니다 — 거친 카테고리에서 각 단계나 하위 작업 평가까지.

평가 반복은 동일한 솔루션의 여러 독립적인 평가를 가능하게 하여 집계가 더 정확하고 안정적인 전체 점수로 수렴합니다.

기준 분해는 검증 작업을 별도로 평가되는 여러 하위 기준으로 분할하여 최종 점수로 통합합니다 — 여러 측면의 정확성을 가진 복잡한 작업에 특히 유용한 접근 방식입니다.

네 개의 서로 다른 도메인 벤치마크에서 SOTA

이 프레임워크는 네 개의 별도 응용 도메인에서 최고의 결과를 달성합니다:

• Terminal-Bench V2: 86.5% — 터미널 프로세스 및 시스템 인터페이스 관리에 대한 에이전트 능력을 측정하는 벤치마크
• SWE-Bench Verified: 78.2% — 실제 GitHub 소프트웨어 엔지니어링 문제 해결을 위한 표준 벤치마크
• RoboRewardBench: 87.4% — 로봇 시스템을 위한 보상 신호 품질 평가
• MedAgentBench: 73.3% — 임상 절차 및 의료 추론 검증이 필요한 의료 에이전트 작업

소프트웨어 엔지니어링, 로봇공학, 의학에 이르는 도메인 범위는 검증 능력이 도메인별 좁은 튜닝 없이 다양한 작업에 걸쳐 일반화될 수 있음을 시사합니다.

강화 학습에서의 밀도 있는 보상으로서의 검증 신호

에이전트 시스템에서의 직접 적용 외에도 프레임워크는 또 다른 중요한 역할을 합니다: 세밀하게 구분된 검증 신호가 작업 진행 프록시(task-progress proxy)로 작용하여 강화 학습의 효율성을 향상시킵니다.

구체적으로 프레임워크는 SAC(Soft Actor-Critic) 및 GRPO 알고리즘과의 조합으로 시연되었으며, 검증자의 밀도 있는 피드백이 클래식 RL에서 표준인 희소 이진 보상 신호를 대체합니다. 이 접근 방식은 외부 검증 보상을 정확하게 정의하기 어렵거나 계산 비용이 많이 드는 작업에 특히 가치 있습니다.

저자들은 또한 AI 지원 소프트웨어 개발을 위한 Anthropic의 개발 도구인 Claude Code와의 통합을 시연했습니다. 검증 프레임워크는 에이전트 시스템으로 작업하는 개발자들에게 세밀한 피드백을 제공합니다. 이 통합 예시는 이론적 프레임워크에서 엔지니어들이 일상적으로 사용하는 개발 도구로의 실용적인 경로를 보여줍니다.

논문은 arXiv(2607.05391)에서 이용 가능합니다. 저자 팀은 Stanford와 UC Berkeley 연구자들로 구성되며 코드와 프로젝트 페이지가 공개될 예정입니다.