arXiv:2606.20521: Egozentrische Menschenvideos übertreffen Roboterdaten beim Vortraining von verkörperten KI-Modellen

Egozentrische Menschenvideos als Vortraining-Quelle für die Robotik

Egozentrische Videos (aus der Egoperspektive aufgezeichnet, während eine Person alltägliche Aktivitäten ausführt) wurden in der Robotik bislang als Quelle für Vortraining-Daten unterschätzt. Die HumanScale-Studie, die von 21 Ko-Autoren der Peking University und des MIT verfasst wurde, ändert dies nun mit einem systematischen, quantitativen Vergleich.

Die Arbeit wurde am 18. Juni 2026 eingereicht und einen Tag später auf der arXiv-Plattform veröffentlicht (arXiv:2606.20521).

Schlüsselergebnisse: +90 % bei Out-of-Distribution-Aufgaben

Modelle, die auf gefiltertem egozentrischen Menschenvideo vortrainiert wurden, erzielten:

• 24 % niedrigeren Validierungsverlust im Vergleich zu Modellen, die auf teleoperierter Roboterdaten vortrainiert wurden,
• 52,5 % höhere Erfolgsrate bei In-Distribution-Aufgaben,
• 90 % höhere Erfolgsrate bei Out-of-Distribution-Robotermanipulationsaufgaben.

Der Vergleich ist direkt: dasselbe architektonische Rahmenwerk für das verkörperte Fundament, der einzige Unterschied ist die Quelle der Vortraining-Daten — gefiltertes egozentrisch aufgenommenes Menschenvideo gegenüber teleoperierter Roboterdemonstration.

Warum Roboterdaten zurückfallen

Teleoperierte Roboterdaten mangelt es an Vielfalt. Das Sammeln solcher Daten ist teuer, langsamer und geografisch begrenzt. Egozentrische Videos hingegen sind in enormen Mengen vorhanden (EGO4D, EPIC-Kitchens und ähnliche Datensätze) und decken auf natürliche Weise ein breites Spektrum an Manipulationshandlungen aus der Egoperspektive ab — nahezu identisch mit dem, was ein Roboter durch seine eigenen Kameras „sieht”.

Vorgeschlagenes Vortraining-Paradigma

HumanScale schlägt einen zweiphasigen Ansatz vor:

1. Vortraining auf einem großen Satz gefilterter egozentrischer Menschenvideos — kostengünstig und skalierbar.
2. Fine-Tuning mit begrenzten beschrifteten Roboterdaten ausschließlich zur Aktionsanpassung.

Dieser Ansatz hat das Potenzial, die Kosten für das Sammeln von Roboterdaten erheblich zu senken, was derzeit eines der Haupthindernisse für die Entwicklung generalisierter Roboterrichtlinien darstellt.