arXiv:2606.20521: 인간 에고센트릭 비디오가 로봇 데이터를 능가한다 — 구현된 AI 모델 사전 학습에서

로보틱스 사전 학습 데이터 소스로서의 인간 에고센트릭 비디오

에고센트릭 비디오（인간이 일상 활동을 수행하는 동안 1인칭 시점에서 촬영된 영상）는 지금까지 로보틱스에서 사전 학습 데이터 소스로 저평가되어 왔습니다. 베이징대학교와 MIT 소속 21명의 공동 저자가 참여한 HumanScale 연구는 체계적이고 정량적인 비교를 통해 이를 바꾸고 있습니다.

이 논문은 2026년 6월 18일에 제출되었으며 다음 날 arXiv 플랫폼에 게재되었습니다（arXiv:2606.20521）.

핵심 결과: 분포 외 과제에서 +90%

필터링된 인간 에고센트릭 비디오로 사전 학습한 모델은 다음과 같은 성과를 달성하였습니다.

• 원격 조작 로봇 데이터로 사전 학습한 모델 대비 검증 손실 24% 감소,
• 분포 내 과제에서 성공률 52.5% 향상,
• 분포 외 로봇 조작 과제에서 성공률 90% 향상.

비교는 직접적입니다. 동일한 구현된 기반 아키텍처 프레임워크를 사용하며, 유일한 차이는 사전 학습 데이터 소스——필터링된 인간 에고센트릭 비디오와 원격 조작 로봇 시연——뿐입니다.

로봇 데이터가 뒤처지는 이유

원격 조작 로봇 데이터에는 다양성이 부족합니다. 이러한 데이터 수집은 비용이 높고 속도가 느리며 지리적으로 제한됩니다. 이에 반해 에고센트릭 비디오는 방대한 양으로 존재하며（EGO4D, EPIC-Kitchens 등 데이터셋）1인칭 시점에서의 다양한 조작 동작을 자연스럽게 포함합니다——이는 로봇이 자체 카메라를 통해 「보는」 시점과 거의 동일합니다.

제안된 사전 학습 패러다임

HumanScale은 2단계 접근법을 제안합니다.

1. 사전 학습: 대규모 필터링된 인간 에고센트릭 비디오로 사전 학습——비용 효율적이고 확장 가능합니다.
2. 파인튜닝: 동작 정렬만을 위해 제한된 레이블 로봇 데이터로 파인튜닝합니다.

이 접근법은 로봇 데이터 수집 비용을 크게 절감할 가능성이 있으며, 이는 현재 일반화된 로봇 정책 개발의 주요 장벽 중 하나입니다.