arXiv: CODA-BENCH, 코드와 데이터를 결합한 작업에서 주요 에이전트들이 61.1%에 그친다는 것을 밝혀내다

중국 인민대학교의 연구자 그룹 — Yuxin Zhang, Ju Fan, Meihao Fan, Shaolei Zhang, Xiaoyong Du — 은 데이터 환경 내에서 코드 생성과 데이터 검색 능력을 동시에 평가하는 최초의 벤치마크 CODA-BENCH를 발표했습니다. 이 논문은 ICML 2026에 채택되었으며, 자율적인 엔지니어가 되려는 에이전트를 위한 기존 평가 프레임워크의 명확한 공백을 다룹니다.

코드 중심 테스트와 데이터 중심 테스트 사이의 공백

기존 AI 에이전트 벤치마크들은 주로 두 가지 차원 중 하나를 선택했습니다: 코드 생성 능력 테스트(에이전트가 작업을 해결하는 프로그램을 작성) 또는 데이터 처리 능력 테스트(에이전트가 데이터셋에서 정보를 검색하고 분석). 실제 개발 환경에는 이러한 편리한 구분이 없습니다. 분석 문제를 해결하는 엔지니어는 먼저 복잡한 파일 구조 내에서 관련 데이터를 찾고, 스키마를 이해하고, 그 후에야 그 데이터를 사용하는 코드를 작성하고 반복적으로 개선해야 합니다. CODA-BENCH는 바로 이 결합된 능력 세트를 테스트하도록 설계되었습니다 — 그리고 결과는 이것이 어느 하나의 격리된 벤치마크가 시사한 것보다 훨씬 더 어렵다는 것을 밝혀냅니다.

왜 이러한 능력의 통합이 특히 어려운가?

문제는 서로 강화하는 여러 이유로 인해 사소하지 않습니다. 우선, 데이터 공간이 방대하고 비정형적입니다: 에이전트는 관련 데이터가 어디에 있는지에 대한 명시적인 지시 없이 어떤 데이터가 작업과 관련이 있는지 추론하면서 파일 계층을 능동적으로 탐색해야 합니다. 그런 다음 데이터 스키마 — 열 유형, 형식, 인코딩 — 를 추론해야 하는데, 실제 데이터셋에서는 이것이 항상 명백하거나 일관적이지 않습니다. 마지막으로, 스키마에 대한 잘못된 가정을 기반으로 에이전트가 작성한 코드는 실행되지 않거나 잘못된 결과를 낼 가능성이 높으며, 에이전트는 제한된 피드백을 가진 환경에서 반복적으로 디버깅해야 합니다. 이 세 단계 각각이 독립적인 오류 원인을 도입하는데, 결합된 작업에서는 이것이 누적이 아닌 곱셈으로 증폭됩니다.

현실적인 샌드박스: Kaggle, 31개 커뮤니티, 980개 파일

저자들은 수백 개의 데이터셋을 포함하는 Kaggle 생태계를 기반으로 Linux 샌드박스를 구축합니다. 각 환경은 평균 980개의 파일을 포함하며, 이는 에이전트가 실제 개발 환경에서 만나는 현실적인 규모와 정보 노이즈를 시뮬레이션합니다. 벤치마크는 다양한 데이터 분석 영역을 커버하는 31개의 작업 커뮤니티에 걸쳐 1,009개의 작업을 포함합니다. 에이전트는 관련 데이터를 찾기 위해 파일 구조를 능동적으로 탐색한 다음, 지정된 작업에 응답하는 분석 코드를 작성하고 실행해야 합니다. 이 조합 — 대규모 데이터, 관련 리소스의 불확실한 위치, 실제 작동하는 코드 생성의 필요성 — 이 CODA-BENCH를 이러한 차원을 별도로 테스트했던 기존 벤치마크보다 체계적으로 더 어렵게 만듭니다.

주요 에이전트들의 성공률은 단 61.1%

CODA-BENCH에서 고급 에이전트를 평가한 결과 명확한 한계가 드러납니다: 최고 성능 시스템조차 성공률 **61.1%**만 달성합니다. 이는 동일한 시스템이 코딩이나 데이터 처리를 위한 격리된 벤치마크에서 달성하는 성능보다 현저히 낮으며, 두 능력의 통합 — 그 합이 아니라 — 이 근본적인 도전임을 확인합니다. 데이터 검색과 코드 생성 모두를 요구하는 작업의 경우, 최신 에이전트조차 10번 중 거의 4번은 실패합니다. 저자들은 이 결과가 특정 모델이나 아키텍처의 문제가 아니라 현재 에이전트가 검색과 코딩을 통합하는 방식의 체계적인 공백을 반영한다고 강조합니다.

세 가지 실패 유형과 미래 연구

저자들은 오류 사례를 지배하는 세 가지 주요 실패 유형을 확인합니다. 첫 번째는 파일 탐색: 에이전트가 복잡한 계층 구조 내에서 관련 데이터를 찾지 못하는 것으로, 특히 관련 리소스가 예상치 못한 위치에 있거나 비전통적인 이름을 가진 경우. 두 번째는 스키마 추론: 에이전트가 데이터 구조 — 열 유형, 형식 또는 인코딩 — 를 잘못 추론하여 실행되지 않거나 잘못된 결과를 생성하는 코드로 이어짐. 세 번째는 데이터 제약 하의 반복적 디버깅: 환경으로부터의 피드백이 느리거나 부분적이거나 긴 실행 후에야 오는 경우 에이전트가 코드를 효과적으로 테스트하고 수정하지 못함.

가장 영향력 있는 머신러닝 학회 중 하나인 ICML 2026에의 채택은 학술 커뮤니티가 이 유형의 벤치마크 공백을 중요한 연구 기여로 인식한다는 것을 확인합니다. 확인된 실패 유형과 함께 CODA-BENCH는 미래 시스템을 위한 구체적인 목표를 설정합니다: 실제 개발 환경에서 유용하고자 하는 에이전트들은 파일 구조 탐색, 데이터 스키마 추론, 불확실한 조건에서 자체 코드 디버깅을 — 모두 동시에 — 배워야 합니다.