arXiv:2607.15193: Plover steuert GUI-Agenten durch einen plan-zentrierten, editierbaren Ansatz der Nutzerinteraktion

Der Preprint arXiv:2607.15193 stellt Plover vor, ein plan-zentriertes System für die Automatisierung grafischer Oberflächen, das eine häufige Fehlerursache bei autonomen Agenten löst.

Warum weichen autonome GUI-Agenten von der Nutzerabsicht ab?

Ein GUI-Agent führt Aufgaben durch direkte Interaktion mit der Oberfläche aus, doch dynamische Layouts und unerwartete Dialoge zwingen rein autonome Agenten vom Kurs abzuweichen, weil ihre Pläne verborgen und nicht korrigierbar bleiben.

Methode: Planner-Executor-Architektur

Plover nutzt eine Planner-Executor-Architektur, die Aufgabenpläne und Replanning als persistente, inspizierbare und überarbeitbare Artefakte externalisiert. Dies unterstützt explizite Ausführungsaufsicht, lokalisierte Korrektur durch editierbare Pläne sowie screenshot-gestützte Eingriffe bei Erhalt des bisherigen Fortschritts. Eine formative Studie mit 6 Teilnehmenden prägte das Interaktionsdesign.

Warum das wichtig ist

Anders als bei einem undurchsichtigen autonomen Agenten, dessen Pläne im internen Zustand vergraben bleiben, zeigt Plover, dass viele Fehler von GUI-Agenten strukturell behebbar sind, sobald Pläne sichtbar gemacht werden — lokalisierte Eingriffe machen Automatisierung transparenter und zuverlässiger. Der Nutzer kann nur den falschen Schritt eines Plans korrigieren, statt die gesamte Aufgabe abzubrechen und den Agenten von Grund auf neu zu starten, was direkt Zeit spart und bereits geleistete Arbeit bewahrt.