arXiv:2606.04261: Mogu li agenti sami kurirati podatke za trening?

Kvaliteta velikih modela uvelike ovisi o kvaliteti podataka na kojima se treniraju. No odabir pravih podataka — kuracija — naporan je i iterativan posao. Tim autora oko Feiyanga Kanga i Ruoxi Jie pita može li ga preuzeti AI agent.

Što mjeri Curation-Bench?

Autori uvode Curation-Bench, mjerilo osmišljeno da provjeri mogu li coding agenti samostalno voditi cijeli tijek kuracije podataka. Kuracija podrazumijeva odabir, filtriranje i pripremu primjera za trening tako da konačni skup bude što informativniji. Benchmark stavlja agenta u ulogu istraživača koji mora osmisliti i poboljšati politiku odabira podataka kroz uzastopne pokušaje.

Koliko su agenti uspješni sami?

Rezultati su dvojaki. Out-of-the-box agenti dosežu jake objavljene osnovice već unutar deset iteracija, što pokazuje da temeljnu petlju kuracije mogu izvesti. Problem je u istraživanju: agenti su uglavnom dorađivali postojeće pristupe umjesto da isprobaju temeljno drugačije strategije. Drugim riječima, znaju optimizirati, ali ne i hrabro istraživati prostor rješenja.

Što mijenja strukturirano vođenje?

Ključni pomak donosi scaffolding — strukturirano vođenje koje agentu nalaže da u svakoj iteraciji citira, instancira i prilagodi neku prethodnu metodu. Uz takvu uputu agent autonomno sastavlja politiku odabira koja nadmašuje jake objavljene osnovice, i to uz desetinu njihova podatkovnog budžeta. Zaključak autora: pouzdano podatkovno istraživanje traži vođenu prilagodbu metoda, a ne tek otvoreno promptanje.