arXiv:2607.10891: SETA — über 4.500 RL-Umgebungen verbessern Terminal-Agenten-Ergebnisse

Was sind Terminal-Agenten und warum brauchen sie spezielle Umgebungen?

Ein Terminal-Agent ist ein KI-Agent, der Aufgaben ausschließlich über Befehle im Terminal oder der Shell löst — ohne grafische Oberfläche. Er kann Skripte ausführen, Dateien verwalten, Systeme konfigurieren und Code direkt in der Befehlszeile debuggen. Solche Agenten haben praktische Anwendungen in der DevOps-Automatisierung, Systemadministration und Engineering-Aufgaben, aber ihr Training erfordert spezialisierte Umgebungen, die reale Terminal-Aufgaben simulieren — und genau hier liegt das Problem: Bestehende Datensätze für Reinforcement Learning (RL) sind klein und in ihrer Vielfalt begrenzt.

SETA: Skalierbare Generierung von RL-Umgebungen

Shen und Mitarbeitende von Oxford und der KAUST, zusammen mit 17 kooperierenden Institutionen, schlagen SETA (Scaling Environments for Terminal Agents) vor: ein System, das automatisch verifizierbare RL-Umgebungen in großem Maßstab generiert. SETA kombiniert zwei Datensätze: SETA-Synth (synthetisch generierte Aufgaben) und SETA-Evol (evolutionär modifizierte Aufgaben mit Schwierigkeitskontrolle). Zusammen produzieren sie mehr als 4.500 verifizierbare Umgebungen — deutlich mehr als bestehende Benchmark-Datensätze.

Der Vergleich mit manuell kuratierten Datensätzen ist eindeutig: Das manuelle Erstellen einer einzigen verifizierbaren Terminal-Umgebung erfordert erheblichen menschlichen Aufwand, während SETA diesen Prozess automatisiert und dabei verifizierbare Ausgaben beibehält.

Ergebnisse auf Terminal-Bench 2.0

Die Evaluation auf Terminal-Bench 2.0 zeigt messbaren Fortschritt. DeepSeek-V4-Flash, trainiert mit SETA-Umgebungen, verbessert pass@1 von 40 % auf 43 % und pass@5 von 54 % auf 58 %. Pass@1 misst den Erfolg beim ersten Versuch; pass@5 misst den Erfolg, wenn der Agent fünf Versuche hat — beide Messungen sind für den Produktionseinsatz relevant.

Implikationen für die Entwicklung von Agentensystemen

SETA adressiert den grundlegenden Engpass in der Entwicklung von Terminal-Agenten: den Mangel an vielfältigen und verifizierbaren RL-Trainingsumgebungen. Durch Erhöhung der Anzahl und Vielfalt der Umgebungen — mit Schwierigkeitskontrolle durch SETA-Evol — ermöglicht das System robusteres und generalisierbareres Training. Für Forschende und Ingenieure, die DevOps-Agenten oder Infrastruktur-Automatisierungstools bauen, bietet SETA eine praktische Plattform zur Skalierung des Trainings ohne proportionale Erhöhung des Aufwands für manuelle Datenerstellung.