arXiv:2606.04261: 에이전트가 스스로 학습 데이터를 큐레이션할 수 있을까?

대형 모델의 품질은 학습에 사용되는 데이터의 품질에 크게 좌우된다. 그러나 올바른 데이터를 고르는 일 — 큐레이션 — 은 고되고 반복적인 작업이다. Feiyang Kang과 Ruoxi Jia를 중심으로 한 저자 팀은 AI 에이전트가 이를 맡을 수 있는지 묻는다.

Curation-Bench는 무엇을 측정하는가?

저자들은 코딩 에이전트가 데이터 큐레이션의 전체 흐름을 독자적으로 수행할 수 있는지 검증하도록 설계된 벤치마크 Curation-Bench를 도입한다. 큐레이션이란 최종 집합이 가능한 한 정보량이 많도록 학습 예시를 선택, 필터링, 준비하는 일을 뜻한다. 이 벤치마크는 에이전트를, 연속된 시도를 통해 데이터 선택 정책을 고안하고 개선해야 하는 연구자의 역할에 놓는다.

에이전트는 혼자서 얼마나 성공적인가?

결과는 양면적이다. 즉시 사용 가능한(out-of-the-box) 에이전트는 열 번의 반복 안에 이미 발표된 강력한 베이스라인에 도달하는데, 이는 기본적인 큐레이션 루프를 수행할 수 있음을 보여준다. 문제는 탐색에 있다. 에이전트들은 근본적으로 다른 전략을 시도하기보다 대체로 기존 접근을 다듬는 데 그쳤다. 다시 말해 최적화는 할 줄 알지만, 해결 공간을 과감히 탐색하지는 못한다.

구조화된 가이드는 무엇을 바꾸는가?

핵심 전환은 스캐폴딩 — 에이전트가 매 반복에서 이전 방법을 인용, 구체화, 적응하도록 지시하는 구조화된 가이드 — 가 가져온다. 이런 지침이 있으면 에이전트는 강력한 발표 베이스라인을 능가하는 선택 정책을 자율적으로 구성하며, 그것도 그 데이터 예산의 10분의 1만으로 해낸다. 저자들의 결론은, 신뢰할 수 있는 데이터 탐색에는 단순한 개방형 프롬프트가 아니라 가이드된 방법 적응이 필요하다는 것이다.