AgentGym2: 새 벤치마크, 비이상화된 조건에서 LLM 에이전트를 테스트
연구자들이 불완전한 정보와 미지의 도구를 사용한 실제 조건에서 15개 LLM 에이전트를 테스트하는 평가 프레임워크 AgentGym2를 발표했습니다. GPT-5와 Gemini를 포함한 모든 모델이 크게 부진하여, 현재 기술 상태와 프로덕션 배포 요구 사항 사이의 큰 격차를 드러냈습니다. 논문은 ACL 2026에서 채택되었습니다.
이 기사는 AI가 1차 출처를 기반으로 생성했습니다.
기존 LLM 에이전트 테스트가 진정한 능력을 측정하는가 — 아니면 단지 실험실 장애물을 통과하는 능력만 측정하는가? Zhiheng Xi와 24명의 공동 저자가 이끄는 연구 그룹이 AgentGym2를 발표했습니다. 이 평가 프레임워크는 정확히 이 질문을 제기하고 구체적인 답을 제공합니다: 기존 벤치마크는 지나치게 단순화된 이상화된 설정을 사용하여 프로덕션 환경에서 에이전트의 실제 어려움을 극적으로 과소평가합니다. 논문은 ACL 2026의 메인 컨퍼런스 기여로 채택되었습니다.
모든 표준 벤치마크는 에이전트에게 사전 준비된 도구, 깨끗하고 완전한 입력 데이터, 명확하게 정의된 작업을 제공합니다. 이는 실제 시스템에서 거의 존재하지 않는 조건입니다. 프로덕션 배포에서 에이전트는 스스로 발견해야 하는 미지의 도구, 필요한 모든 정보를 제공하지 않는 노이즈가 있는 입력, 그리고 한 단계의 오류가 이후 모든 것에 연쇄적으로 영향을 미치는 다단계 작업에 정기적으로 직면합니다. AgentGym2는 정확히 그 현실이 평가에 반영되도록 만들어졌습니다.
실험실과 실제 세계를 구분하는 네 가지 차원
AgentGym2는 기존 테스트가 체계적으로 피해온 각 측면을 향한 네 가지 평가 차원에 기반한 구조화된 프레임워크를 도입합니다:
종단 간 절차 실행은 외부 개입 없이 전체 워크플로우를 수행하는 에이전트의 능력을 측정합니다. 초기 단계의 오류는 이후 모든 단계로 연쇄적으로 전달됩니다 — 이는 실제 자동화 파이프라인의 취약성을 반영합니다.
환경 탐색을 통한 도구 발견은 에이전트가 지침이 포함된 준비된 목록을 받는 대신 어떤 옵션이 사용 가능한지 스스로 식별해야 합니다. 이는 에이전트가 사전 설명서 없이 미지의 환경에 진입하는 조건을 시뮬레이션합니다.
미지 작업을 위한 도구 구성은 훈련에서 본 적 없는 방식으로 여러 도구를 결합하는 능력을 테스트합니다. 기억된 솔루션이 아닌 일반화가 실제로 측정됩니다.
노이즈와 불완전한 정보에 대한 강건성은 의도적으로 잘못 형식화된 입력, 모순, 불완전한 컨텍스트를 도입합니다. 실제 환경에서 사용자와 시스템은 완벽하게 구조화된 쿼리를 거의 작성하지 않으며, 에이전트는 그럼에도 기능을 유지해야 합니다.
15개 모델 테스트 결과는 무엇을 보여주나요?
저자들은 AgentGym2 벤치마크에서 15개 모델을 평가했으며, GPT-5와 Gemini를 포함한 선도적인 독점 시스템과 여러 오픈소스 대안도 포함됩니다. 결론은 명확합니다: 모두 크게 부진합니다. 테스트한 모델 중 어느 것도 집중적인 감독 및 검증 없이 자율적 프로덕션 배포에 허용 가능한 성능 수준에 도달하지 못했습니다.
특히 주목을 끄는 것은 동일한 모델이 이상화된 벤치마크에서 달성하는 결과와의 비교 규모입니다. 성능 저하는 미미하지도, 단순히 예상치 못한 것도 아닙니다 — 저자들은 그 격차를 극적인 것으로 설명하며, 기존 리더보드가 에이전트가 실제 시스템에서 해야 할 것과 본질적으로 다른 것을 측정했다는 명확한 증거라고 합니다. 표준 테스트에서의 높은 점수가 더 이상 프로덕션 능력을 의미하지 않습니다.
AgentGym2, 연구 커뮤니티의 새로운 기준 제시
ACL 2026 — 자연어 처리를 위한 가장 명망 있는 연례 컨퍼런스 중 하나 — 에서 논문이 채택된 것은 연구 커뮤니티가 문제의 심각성을 인식한다는 것을 확인합니다. 기존 벤치마크는 실용적이기 때문에 지속됩니다: 자동화하기 쉽고, 빠르게 평가하며, 모델 간 비교가 가능합니다. 그러나 용이성을 측정한다면 — 현실이 아닌 — 장기적으로 연구를 잘못된 방향으로 이끕니다.
AgentGym2는 에이전트가 기업, 자동화된 워크플로우, 사용자 애플리케이션에서 직면하는 조건에 더 가까운 비이상화된 시나리오를 기반으로 한 대안을 제공합니다. 네 가지 평가 차원이 함께 지금까지 정기적으로 생략된 측면을 커버합니다: 발견, 구성, 강건성, 전체 작업 실행.
프로덕션 에이전트 시스템을 구축하는 개발 팀에게 메시지는 명확합니다: 이전 테스트에서의 높은 점수는 에이전트가 실제 작업이 기다리는 곳에서 기능할 것이라는 보장이 아닙니다.
자주 묻는 질문
- AgentGym2란 무엇이며 기존 벤치마크와 어떻게 다른가요?
- AgentGym2는 이상화된 실험실 조건을 포기하고 미지의 도구, 노이즈가 있는 데이터, 불완전한 사양이 있는 시나리오 — 실제 프로덕션 시스템에 해당하는 조건 — 에서 에이전트를 테스트하는 평가 프레임워크입니다.
- 몇 개 모델이 평가되었으며 결과는 어떤가요?
- GPT-5와 Gemini를 포함한 15개 모델이 테스트되었습니다. 모두 크게 부진하여 기존 이상화된 테스트 결과와 비교해 성능이 극적으로 저하됨을 드러냈습니다.
- 논문이 어떤 컨퍼런스에서 채택되었나요?
- AgentGym2는 자연어 처리와 머신러닝의 가장 권위 있는 컨퍼런스 중 하나인 ACL 2026의 메인 컨퍼런스 논문으로 채택되었습니다.