arXiv:2607.10891: SETA — 4.500+ RL okruženja podiže rezultate terminalnih agenata
Terminalni agent je AI agent koji zadatke rješava kroz naredbe u terminalu ili shellu. SETA (Shen i sur., Oxford, KAUST) generira 4.500+ provjerljivih RL okruženja za trening terminalnih agenata. DeepSeek-V4-Flash poboljšava pass@1 s 40% na 43% i pass@5 s 54% na 58% na Terminal-Bench 2.0.
Ovaj članak generiran je uz pomoć umjetne inteligencije na temelju primarnih izvora.
Što su terminalni agenti i zašto trebaju posebna okruženja
Terminalni agent je AI agent koji zadatke rješava isključivo kroz naredbe u terminalu ili shellu — bez grafičkog sučelja. Može izvršavati skripte, upravljati datotekama, konfigurirati sustave i debugirati kod direktno u komandnoj liniji. Takvi agenti imaju praktičnu primjenu u DevOps automatizaciji, sistemskoj administraciji i inženjerskim zadacima, ali njihov trening zahtijeva specijalizirana okruženja koja simuliraju stvarne terminalske zadatke — i upravo tu leži problem: postojeći skupovi podataka za reinforcement learning (RL) su mali i ograničeni po raznolikosti.
SETA: skalabilna generacija RL okruženja
Shen i suradnici s Oxforda i sveučilišta KAUST, uz 17 suradničkih institucija, predlažu SETA (Scaling Environments for Terminal Agents): sustav koji automatski generira provjerljiva RL okruženja u velikom broju. SETA kombinira dva skupa: SETA-Synth (sintetički generirani zadaci) i SETA-Evol (evolucijski modificirani zadaci s kontrolom težine). Zajedno produciraju više od 4.500 provjerljivih okruženja — što je znatno više od dosadašnjih benchmark skupova.
Usporedba s ručno kuiranim skupovima je izravna: ručno kreiranje jednog provjerljivog terminalskog okruženja zahtijeva značajan ljudski trud, dok SETA automatizira taj proces uz zadržavanje provjerivih izlaza.
Rezultati na Terminal-Bench 2.0
Evaluacija na Terminal-Bench 2.0 pokazuje mjerljiv napredak. DeepSeek-V4-Flash treniran uz SETA okruženja poboljšava pass@1 s 40% na 43% i pass@5 s 54% na 58%. Pass@1 mjeri uspjeh u prvom pokušaju; pass@5 mjeri uspjeh ako agent ima pet pokušaja — oba mjerenja relevantna su za produkcijsku upotrebu.
Implikacije za razvoj agentnih sustava
SETA adresira temeljno usko grlo u razvoju terminalnih agenata: nedostatak raznolikih i provjerljivih okruženja za RL trening. Povećanjem broja i raznolikosti okruženja — uz kontrolu težine kroz SETA-Evol — sustav omogućuje robustniji i generalizabilniji trening. Za istraživače i inženjere koji grade DevOps agente ili alate za automatizaciju infrastrukture, SETA nudi praktičnu platformu za skaliranje treninga bez razmjernog povećanja troška ručne izrade podataka.
Česta pitanja
- Što je terminalni agent?
- Terminalni agent je AI agent koji zadatke rješava isključivo kroz naredbe u terminalu ili shellu — bez grafičkog sučelja. Može izvršavati skripte, upravljati datotekama, konfigurirati sustave i debugirati kod direktno u komandnoj liniji.
- Koliko RL okruženja generira SETA i koji su rezultati?
- SETA generira više od 4.500 provjerljivih okruženja kombiniranjem SETA-Synth i SETA-Evol skupova s kontrolom težine. DeepSeek-V4-Flash poboljšava pass@1 s 40% na 43% i pass@5 s 54% na 58% na Terminal-Bench 2.0.
📬 AI vijesti u tvoj inbox
Dnevni digest po tvojoj mjeri — biraš teme, izvore i ritam. Odjava jednim klikom.