OSWorld 연구: AI 컴퓨터 조작 에이전트, 반복 작업에서 자주 실패

Gonzalez-Pumariega 외 공동 저자와 Xin Eric Wang의 새로운 연구가 컴퓨터를 조작하는 AI 에이전트 평가에서 시스템적 문제를 밝혀냈습니다. 작업을 한 번 성공적으로 수행하는 것이 에이전트가 다음에도 성공한다는 보장이 아닙니다.

불안정성의 세 가지 주요 원인은 무엇입니까?

연구는 에이전트의 신뢰성 부족을 공동으로 만드는 세 가지 요인을 확인했습니다. 첫 번째는 실행의 확률적 성질——각 시도에는 인터페이스 로딩의 시간적 변화, 모델 샘플링의 다른 결과, 운영 체제 상태의 미묘한 변화와 같은 무작위 요소가 포함됩니다.

두 번째 요인은 작업 명세의 모호성입니다. 동일한 작업이 충분히 불명확하게 표현되어 어떤 기준에서는 “성공”, 다른 기준에서는 “실패”가 되는 여러 방법으로 수행될 수 있습니다.

세 번째는 에이전트 자체 행동의 가변성——동일한 입력에서도 에이전트는 항상 동일한 결정을 내리지 않으며, 특히 더 긴 행동 체인에서는 작은 차이가 누적되어 커집니다.

OSWorld 벤치마크가 문제 발견을 어떻게 도왔습니까?

저자들은 실제 운영 체제와 애플리케이션에서 AI 에이전트를 평가하는 플랫폼인 OSWorld 벤치마크에서 실험을 수행했습니다. 핵심적인 방법론적 개입은 표준적인 단일 측정이 아닌 동일한 작업의 여러 번 반복이었습니다.

결과는 한 번의 실행에서 작업을 해결한 에이전트가 다음 실행에서는 막히거나, 성공으로 이어지지 않는 다른 경로를 택하거나, 루프에 갇힐 수 있음을 보여줍니다. 이러한 불안정성은 작업당 에이전트를 한 번만 테스트하는 벤치마크에서는 보이지 않습니다.

결론은 표준 평가에서 보고되는 성공률 수치가 에이전트가 10번의 시도 중 실제로 몇 번 성공하는지를 고려하지 않기 때문에 과대평가될 수 있다는 것입니다.

이것이 에이전트 개발에 무엇을 의미합니까?

컴퓨터 조작 에이전트를 사용하는 프로덕션 시스템을 구축하는 모든 사람에게 실질적인 결과는 중요합니다. 에이전트가 10번의 시도 중 7번 성공한다면, 프로덕션에서 이는 10명의 사용자 중 3명이 실패를 경험한다는 의미——많은 사용 사례에서 받아들일 수 없는 수준입니다.

저자들은 평균 성공률뿐만 아니라 분산도 측정하는 다회 평가를 표준으로 권장합니다. 또한 모호성을 줄이기 위한 더 나은 작업 명세와 가능한 경우 더 견고한 결정론적 인터페이스도 제안합니다.

연구 커뮤니티에게는 결과 보고 방식의 수정이 필요하고, 제품 구축자에게는 재시도 로직, 결과 검증, 인간 참여 제어와 같은 추가 메커니즘이 필요합니다.