arXiv:2607.11185: SCALECUA skaliert Computer-Use-Agenten mit RL — 68,7 % auf OSWorld

Was sind Computer-Use-Agenten und was ist RL?

Ein Computer-Use-Agent ist ein KI-System, das einen Computer selbstständig über eine grafische Benutzeroberfläche steuert — es führt Klicks, Eingaben und Bildschirmnavigation so durch, wie es ein Mensch tun würde, ohne API-Zugang oder spezielle Programmierschnittstellen. Reinforcement Learning (RL) ist eine Methode des maschinellen Lernens, bei der ein Modell durch Versuch und Irrtum lernt: Es erhält eine Belohnung, wenn es eine Aufgabe erfolgreich abschließt, und eine Strafe, wenn es scheitert. Die Kombination dieser beiden Ansätze — RL-Training von Computer-Use-Agenten — war bisher durch den Mangel an verifizierbaren Trainingsaufgaben eingeschränkt.

SCALECUA: Architektur und Schlüsselergebnisse

Forschende der Tsinghua-Universität und des THUDM-Labors haben SCALECUA (Scaling Computer Use Agents with Verifiable Task Synthesis and Efficient Online RL) veröffentlicht, ein Framework, das genau dieses Problem angeht. Das System erzielte 68,7 % Genauigkeit auf dem OSWorld-Benchmark — dem Standardmaß für die Bewertung von Computer-Use-Agenten bei realen Betriebssystemaufgaben — und 54,0 % auf ScienceBoard, das komplexere wissenschaftliche Aufgaben abdeckt. Beide Ergebnisse stellen einen neuen SOTA (State-of-the-Art) dar, d. h. die bisher besten veröffentlichten Leistungen für diese Kategorie von KI-Systemen. Zum Vergleich: Frühere führende Modelle erzielten unter 60 % auf OSWorld, was bedeutet, dass SCALECUA eine messbare Verbesserung von mehr als 8 Prozentpunkten liefert.

VeriGen: Über 24.000 verifizierbare Aufgaben für RL-Training

Der zentrale Beitrag der Arbeit ist das VeriGen-System, das automatisch verifizierbare Aufgaben für das RL-Training generiert. Die Forschenden synthetisierten damit mehr als 24.000 verifizierbare Aufgaben und filterten daraus ca. 3.000 hochwertige RL-Aufgaben. Der entscheidende Vorteil der Verifizierbarkeit besteht darin, dass der Agent sofort eine klare Belohnung erhält — die Aufgabe ist entweder abgeschlossen oder nicht, ohne den Bedarf an kostspieliger menschlicher Bewertung.

Trainingseffizienz und Skalierbarkeit

SCALECUA führt auch Visual Context Segmentation ein — einen Mechanismus, der dem Modell hilft, die Aufmerksamkeit auf relevante Bildschirmbereiche zu fokussieren und so die Rechenlast zu reduzieren. Das Ergebnis ist eine 2,83× schnellere Trainingsgeschwindigkeit im Vergleich zum naiven Ansatz. Das System ist für die Skalierung auf mehr als 100 parallele Agent-Worker ausgelegt, was es in verteilten Rechenumgebungen einsetzbar macht und den Weg zu einer weiteren Vergrößerung des RL-Aufgabensets öffnet.