arXiv:2607.10891: SETA — 4,500개 이상의 강화학습 환경으로 터미널 에이전트 성능 향상

터미널 에이전트란 무엇이며 왜 전용 환경이 필요합니까?

터미널 에이전트는 그래픽 인터페이스 없이 터미널 또는 셸 명령만으로 작업을 해결하는 AI 에이전트입니다. 명령줄에서 스크립트를 실행하고, 파일을 관리하고, 시스템을 구성하고, 코드를 디버깅할 수 있습니다. 이러한 에이전트는 DevOps 자동화, 시스템 관리, 엔지니어링 작업에 실질적인 응용이 있지만, 훈련에는 실제 터미널 작업을 시뮬레이션하는 전용 환경이 필요합니다——문제는 강화학습(RL)을 위한 기존 데이터셋이 소규모이고 다양성이 제한적이라는 점입니다.

SETA: 확장 가능한 강화학습 환경 생성

옥스퍼드대학교와 KAUST, 그리고 17개 협력 기관의 선 등이 제안한 SETA(Scaling Environments for Terminal Agents)는 검증 가능한 강화학습 환경을 대량으로 자동 생성하는 시스템입니다. SETA는 두 가지 데이터셋을 결합합니다: SETA-Synth(합성 생성 작업)와 SETA-Evol(난이도 제어를 통한 진화적 수정 작업). 합산하여 4,500개 이상의 검증 가능한 환경을 생성합니다——기존 벤치마크 데이터셋보다 훨씬 많습니다.

수작업으로 큐레이션된 데이터셋과의 비교는 직접적입니다: 검증 가능한 터미널 환경 하나를 수동으로 만드는 데 상당한 인력이 필요하지만, SETA는 검증 가능한 출력을 유지하면서 그 과정을 자동화합니다.

Terminal-Bench 2.0에서의 성과

Terminal-Bench 2.0에서의 평가는 측정 가능한 발전을 보여 줍니다. SETA 환경으로 훈련된 DeepSeek-V4-Flash는 **pass@1을 40%에서 43%**로, **pass@5를 54%에서 58%**로 개선합니다. pass@1은 첫 번째 시도의 성공을 측정하고, pass@5는 에이전트가 다섯 번의 시도를 할 수 있을 때의 성공을 측정합니다——두 지표 모두 프로덕션 환경 사용에 관련됩니다.

에이전트 시스템 개발에 대한 시사점

SETA는 터미널 에이전트 개발의 근본적인 병목——다양하고 검증 가능한 강화학습 훈련 환경의 부족——을 해결합니다. SETA-Evol을 통한 난이도 제어와 함께 환경의 수와 다양성을 늘림으로써, 더 견고하고 일반화 가능한 훈련이 가능해집니다. DevOps 에이전트나 인프라 자동화 도구를 구축하는 연구자와 엔지니어에게 SETA는 수동 데이터 제작 비용을 비례적으로 늘리지 않고 훈련 규모를 확장할 수 있는 실용적인 플랫폼을 제공합니다.