arXiv:2607.14642: MCPEvol-Bench, GPT-5.4와 Claude 모두 MCP 도구 변경 시 정확도를 잃는다는 것을 보여주다

MCPEvol-Bench란 무엇이며 왜 중요한가?

MCPEvol-Bench는 Huanxi Liu와 공동 저자들이 발표한 새로운 벤치마크로, 변화하는 도구 인터페이스에 대한 AI 에이전트의 적응력을 테스트합니다. 모델 컨텍스트 프로토콜(Model Context Protocol, MCP)은 AI 에이전트에게 데이터베이스, API, 파일 시스템 같은 외부 도구에 대한 접근을 제공하는 표준입니다. 기존 벤치마크는 도구 인터페이스가 고정된 상태로 유지된다고 가정하지만, 실제 운영 환경에서는 MCP 서버가 끊임없이 업데이트되며 인터페이스를 변경합니다.

벤치마크는 도구 변화를 어떻게 시뮬레이션하는가?

연구팀은 매개변수 이름 변경, 데이터 유형 변경, 응답 구조 재편성 등 도구 인터페이스의 시뮬레이션된 변화인 11개의 변이 연산자를 정의하고, 이를 123개의 MCP 서버에 적용했습니다. 에이전트는 변이 전과 후에 동일한 작업을 수행해야 하며, 성공률의 차이가 도구 진화에 대한 모델의 저항력을 측정합니다.

프론티어 모델은 진화된 서버에서 얼마나 성능을 잃는가?

12개의 프론티어 LLM이 테스트되었으며, 결과는 가장 발전된 모델조차 변화를 따라가는 데 어려움을 겪는다는 것을 보여줍니다. GPT-5.4는 정적인 서버 대비 진화된 서버에서 13.7%의 성능 저하를 기록했고, Claude-Sonnet-4-6은 더 크게 — 14.4% — 저하되었습니다. 이 비교는 Anthropic의 모델이 도구 인터페이스 변화에 OpenAI의 모델보다 약간 더 민감하다는 것을 보여주지만, 그 차이는 0.7퍼센트포인트로 작습니다.

이것이 에이전트의 미래에 무엇을 의미하는가?

정확도 저하와 함께 계획 및 추론 오류의 수도 증가합니다 — 에이전트는 변경된 매개변수를 잘못 해석하거나 서버에 더 이상 존재하지 않는 구버전 도구를 호출하려 시도합니다. 연구자들의 결론은 분명합니다. 동적인 도구 환경은 OpenAI든 Anthropic 계열이든 상관없이 가장 발전된 모델에게도 여전히 약점으로 남아 있습니다.

저자들은 정적인 벤치마크가 도구가 거의 매일 변화하는 운영 환경에서 에이전트의 실제 준비 상태를 과대평가하기 때문에, MCPEvol-Bench가 적응력 훈련을 위한 새로운 전략의 여지를 연다고 결론짓습니다.