arXiv:2605.30434: LongDS-Bench, 긴 분석에서 AI 에이전트의 성능 저하를 밝혀내다

“LongDS-Bench: On the Failure of Long-Horizon Agentic Data Analysis”라는 제목의 새 논문은 다중 턴 데이터 분석 작업에서 AI 에이전트를 평가하는 벤치마크를 제시한다. 저자는 Kewei Xu, Xiaoben Lu, Shuofei Qiao, Zihan Ding, Haoming Xu, Lei Liang, Ningyu Zhang이다.

LongDS-Bench란 무엇인가?

LongDS-Bench는 실제 Kaggle 노트북에서 도출한 68개 작업과 2,225개 턴으로 구성된 평가 세트다. 작업은 지구과학, 비즈니스, 교육을 포함한 6개 도메인을 포괄한다. 목적은 에이전트가 길고 다중 턴인 상호작용 전반에 걸쳐 분석 컨텍스트를 유지할 수 있는지 테스트하는 것이다.

모델들은 긴 호라이즌에서 얼마나 나쁜가?

결과는 충격적이다. 최고 모델조차 평균 정확도 48.45%에 그친다. 5개의 주요 모델을 테스트했을 때, 성능은 초기 턴에서 후기 턴까지 거의 47점 하락한다. 긴 호라이즌에서의 오류는 전체 실패의 52%에서 69% 사이를 차지한다.

실패의 진짜 원인은 무엇인가?

핵심 발견은 주된 병목이 상호작용 예산을 늘리는 것이 아니라 올바른 분석 상태를 유지하는 것이라는 점이다. 다시 말해, 추가적인 계산 단계 자체만으로는 긴 작업 전반에 걸친 상태 보존이라는 근본적 과제를 해결하지 못한다. 연구자들은 더 신뢰할 수 있는 데이터 분석 에이전트 시스템의 개발을 촉진하기 위해 벤치마크를 공개했다.