arXiv:2605.30434: LongDS-Bench otkriva pad AI agenata na dugim analizama
LongDS-Bench je novi benchmark za procjenu AI agenata na višekružnim zadacima analize podataka. Sadrži 68 zadataka i 2.225 krugova iz stvarnih Kaggle bilježnica, a pet vodećih modela pokazuje značajnu degradaciju na dugim horizontima — najbolji postiže tek 48,45% prosječne točnosti.
Ovaj članak generiran je uz pomoć umjetne inteligencije na temelju primarnih izvora.
Novi rad pod naslovom “LongDS-Bench: On the Failure of Long-Horizon Agentic Data Analysis” predstavlja benchmark koji ocjenjuje AI agente na višekružnim zadacima analize podataka. Autori su Kewei Xu, Xiaoben Lu, Shuofei Qiao, Zihan Ding, Haoming Xu, Lei Liang i Ningyu Zhang.
Što je LongDS-Bench?
LongDS-Bench je skup za procjenu sastavljen od 68 zadataka i 2.225 krugova (turnova) izvedenih iz stvarnih Kaggle bilježnica. Zadaci pokrivaju šest domena, uključujući geoznanost, poslovanje i obrazovanje. Cilj je testirati mogu li agenti održati analitički kontekst kroz duge, višekružne interakcije.
Koliko su modeli loši na dugim horizontima?
Rezultati su poražavajući: najbolji model postiže tek 48,45% prosječne točnosti. Pri testiranju pet vodećih modela, performanse padaju gotovo 47 bodova od ranih do kasnih krugova. Pogreške na dugim horizontima čine između 52% i 69% svih neuspjeha.
Koji je pravi uzrok neuspjeha?
Ključni nalaz jest da je glavno usko grlo održavanje ispravnog analitičkog stanja, a ne povećanje budžeta interakcije. Drugim riječima, dodatni koraci računanja sami po sebi ne rješavaju temeljni izazov očuvanja stanja kroz duge zadatke. Istraživači su objavili benchmark kako bi potaknuli razvoj pouzdanijih agentnih sustava za analizu podataka.
Česta pitanja
- Što je LongDS-Bench?
- LongDS-Bench je benchmark za procjenu AI agenata na višekružnim zadacima analize podataka, izgrađen od 68 zadataka i 2.225 krugova iz stvarnih Kaggle bilježnica u šest domena.
- Koji je glavni problem koji su otkrili?
- Ključno usko grlo je održavanje ispravnog analitičkog stanja kroz duge interakcije, a ne povećanje budžeta interakcije. Performanse padaju gotovo 47 bodova od ranih do kasnih krugova.
Izvori
📬 AI vijesti u tvoj inbox
Dnevni digest po tvojoj mjeri — biraš teme, izvore i ritam. Odjava jednim klikom.
Povezane vijesti
arXiv:2607.13034: E3 okvir — agenti procjenjuju složenost zadatka i troše 91% manje tokena
arXiv:2607.12463: funkcijski svjestan FIM mid-trening podiže coding-agente do +5,4 na SWE-Benchu
arXiv:2607.12385: PM-Bench mjeri 'prospektivnu memoriju' agenata — najbolji GPT-5.4 tek 65,1% F1