arXiv:2607.11185: SCALECUA, RL로 컴퓨터 사용 에이전트 확장 — OSWorld 68.7%

컴퓨터 사용 에이전트와 강화학습이란?

컴퓨터 사용 에이전트는 GUI를 통해 컴퓨터를 자율적으로 조작하는 AI 시스템입니다——API 접근이나 전용 프로그래밍 인터페이스 없이 사람처럼 클릭, 타이핑, 화면 탐색을 수행합니다. **강화학습(RL)**은 시행착오를 통해 학습하는 기계학습 방법으로, 작업을 성공적으로 완료하면 보상을 받고 실패하면 벌칙을 받습니다. 이 두 가지 접근법을 결합하여——RL로 컴퓨터 사용 에이전트를 훈련하는——것은 검증 가능한 훈련 작업의 부족으로 이전에는 제한적이었습니다.

SCALECUA: 아키텍처와 핵심 성과

칭화대학교와 THUDM 연구소의 연구자들이 SCALECUA(Scaling Computer Use Agents with Verifiable Task Synthesis and Efficient Online RL)를 발표했습니다. 이 프레임워크는 바로 그 문제를 해결합니다. 시스템은 OSWorld 벤치마크에서 68.7% 정확도——컴퓨터 사용 에이전트를 실제 OS 작업으로 평가하는 표준 벤치마크——와 더 복잡한 과학 작업을 포괄하는 **ScienceBoard에서 54.0%**를 달성했습니다. 두 결과 모두 새로운 SOTA(최신 기술 수준)를 나타냅니다. 비교하자면, 이전 최고 모델은 OSWorld에서 60% 미만을 기록했으므로 SCALECUA는 8퍼센트 포인트 이상의 측정 가능한 개선을 가져옵니다.

VeriGen: 24,000개 이상의 검증 가능한 RL 훈련 작업

이 연구의 핵심 기여는 VeriGen 시스템으로, RL 훈련을 위한 검증 가능한 작업을 자동으로 생성합니다. 연구자들은 이를 활용하여 24,000개 이상의 검증 가능한 작업을 합성하고, 그 중에서 약 3,000개의 고품질 RL 작업을 필터링했습니다. 검증 가능성의 핵심 장점은 에이전트가 즉시 명확한 보상을 받을 수 있다는 것입니다——작업이 완료되었는지 여부로 판단되며 비용이 많이 드는 인간 평가가 불필요합니다.

훈련 효율성과 확장성

SCALECUA는 Visual Context Segmentation도 도입합니다. 이는 모델이 화면의 관련 부분에 주의를 집중하도록 도와 계산 부담을 줄이는 메커니즘입니다. 그 결과 단순한 접근 방식에 비해 2.83배의 훈련 가속이 실현되었습니다. 이 시스템은 100개 이상의 병렬 에이전트 워커로의 확장을 염두에 두고 설계되어 분산 컴퓨팅 환경에서 적용 가능하며, RL 작업 집합의 추가 확장을 위한 길을 열어 줍니다.