arXiv:2606.04261: Können Agenten Trainingsdaten selbst kuratieren?

Die Qualität großer Modelle hängt stark von der Qualität der Daten ab, mit denen sie trainiert werden. Doch die Auswahl der richtigen Daten — die Kuratierung — ist eine mühsame, iterative Aufgabe. Ein Autorenteam um Feiyang Kang und Ruoxi Jia fragt, ob ein KI-Agent sie übernehmen kann.

Was misst Curation-Bench?

Die Autoren führen Curation-Bench ein, einen Benchmark, der prüfen soll, ob Coding-Agenten den gesamten Ablauf der Datenkuratierung eigenständig durchführen können. Kuratierung umfasst das Auswählen, Filtern und Aufbereiten von Beispielen für das Training, sodass der endgültige Datensatz möglichst informativ ist. Der Benchmark versetzt den Agenten in die Rolle eines Forschers, der eine Datenauswahl-Strategie durch aufeinanderfolgende Versuche entwerfen und verbessern muss.

Wie erfolgreich sind Agenten allein?

Die Ergebnisse sind zweischneidig. Out-of-the-box-Agenten erreichen starke veröffentlichte Baselines bereits innerhalb von zehn Iterationen, was zeigt, dass sie die grundlegende Kuratierungsschleife ausführen können. Das Problem liegt in der Erkundung: Die Agenten verfeinerten meist bestehende Ansätze, statt grundlegend andere Strategien auszuprobieren. Mit anderen Worten: Sie können optimieren, aber nicht mutig erkunden.

Was ändert die strukturierte Anleitung?

Die entscheidende Wende bringt das Scaffolding — eine strukturierte Anleitung, die dem Agenten vorgibt, in jeder Iteration eine frühere Methode zu zitieren, zu instanziieren und anzupassen. Mit einer solchen Anweisung stellt der Agent autonom eine Auswahlstrategie zusammen, die starke veröffentlichte Baselines übertrifft, und das mit einem Zehntel ihres Datenbudgets. Das Fazit der Autoren: Zuverlässige Datenerkundung erfordert eine geführte Anpassung von Methoden, nicht bloß offenes Prompting.