Microsoft Research Synthetic Computers: 장기 생산성 AI 에이전트 훈련의 기반으로서 1,000개의 합성 컴퓨터

Microsoft Research(Tao Ge, Baolin Peng, Hao Cheng, Jianfeng Gao)의 연구자들이 기존 에이전트 벤치마크의 범위를 넘어서는 생산성 워크플로를 시뮬레이션하는 현실적인 합성 컴퓨팅 환경 생성 방법론을 발표했습니다. 이 연구의 목적은 인프라적인 것으로——수작업으로 큐레이션된 데이터셋을 초월하는 규모에서 장기 에이전트를 훈련하고 평가할 수 있는 기반을 제공하는 것입니다.

”합성 컴퓨터”란 정확히 무엇입니까?

각 합성 컴퓨터는 실제 작업 환경을 모방하는 실제 폴더 계층 구조와 문서 및 아티팩트를 포함합니다——무균 샌드박스가 아닌, 문맥적으로 연결된 내용이 있는 파일 시스템입니다. 두 에이전트가 이 공간에서 협력합니다:

• 생성기는 환경의 사용자 프로필에 특화된 생산성 목표를 생성합니다——“여러 전문적인 결과물과 약 한 달간의 인간 작업이 필요한” 과제입니다.
• 실행기는 사용자 역할을 맡아 컴퓨터에서 작업합니다——파일을 탐색하고, 새 아티팩트를 생성하며, 긴 시간 동안 일관되게 작업을 수행합니다.

핵심 수치는 무엇입니까?

세 가지 지표가 이 연구의 틀을 정의합니다:

• 연구 내에서 1,000개의 합성 컴퓨터 생성
• 시뮬레이션당 평균 2,000회 이상의 단계
• 단일 시뮬레이션 완료에 8시간 이상의 에이전트 작업 시간

이는 SWE-Bench, GAIA, AgentBench 등 기존 에이전트 벤치마크와 크게 다릅니다——이러한 벤치마크에서 개별 작업은 수십 단계를 넘는 경우가 드뭅니다. 장기적 차원이 핵심입니다——저자들은 인간 개입 없이 몇 시간 동안 자율적으로 작업할 수 있는 에이전트 부류를 목표로 합니다.

얼마나 확장할 수 있습니까?

이 연구의 주요 주장은 인프라의 확장성입니다. 저자들은 이 방법론이 “충분한 컴퓨팅 자원이 있다면 원칙적으로 수백만 또는 수십억 개의 합성 사용자 세계로 확장될 수 있다”고 주장합니다. 이를 통해 엔지니어링 워크플로부터 마케팅 계획, 행정 작업에 이르기까지 다양한 직업과 맥락을 커버할 수 있으며, 이는 개발자 샌드박스의 제한된 작업 집합을 넘어 일반화할 수 있는 에이전트를 훈련하기 위한 전제 조건입니다.

저자들은 이 연구를 “에이전트 자기 개선을 위한 기본 기반”으로 포지셔닝합니다——시뮬레이션된 세계 안에서 자체 훈련 데이터를 생성하고 자신의 오류를 기반으로 수정할 수 있는 에이전트입니다. 이 접근법이 재현 가능하다고 증명된다면, 이것은 다음 세대 생산성 AI 시스템의 핵심 구성 요소 중 하나가 될 수 있습니다: 더 나은 모델뿐만 아니라 모델 훈련에 사용되는 합성 경험의 절차적 경제 체계입니다.