arXiv: ASSAY okvir selektivnim maskiranjem vještina postavlja novi rekord za LLM agente

Skupina istraživača sa Sveučilišta Sjeverne Karoline u Chapel Hillu — Yixuan Wang, Yiyang Zhou, Yiming Liang, Congyu Zhang, Fuxiao Liu, Jiawei Zhou i Huaxiu Yao — objavila je rad koji identificira temeljni problem LLM agenata koji uče iz iskustva: agenti nemaju principijelan način razlikovanja korisnih od štetnih vještina u svojoj knjižnici. Problem nije samo teorijski — agent koji uči iz iskustva ali ne zna selektirati znanje može s vremenom nakupiti knjižnicu u kojoj lošije resursi poništavaju dobre. Rad uvodi ASSAY (Attributed Skill curation for Agent Systems) okvir koji taj problem rješava empirijskom uzročnom atribucijom, bez ikakvih izmjena težina modela.

Kauzalna heterogenost: isti skill, suprotni efekti

Moderni LLM agenti mogu akumulirati vještine (skills) iz iskustva u obliku opisa prirodnim jezikom i koristiti ih za bolje rješavanje budućih zadataka. Problem koji autori identificiraju naziva se kauzalna heterogenost: individualne vještine rutinski pomažu na nekim tipovima zadataka, dok istovremeno štete na drugima. Kad se ti suprotstavljeni efekti agregiraju na razini cijele knjižnice, međusobno se poništavaju — zbog čega globalne metode korekcije koje gledaju prosječni efekt vještine ne mogu otkriti problem. Agent nastavlja koristiti sve vještine indiskriminatno, ne znajući da neka od njih u određenom kontekstu nije neutralna, već aktivno štetna.

Zašto globalni pristup korekciji knjižnice ne radi

Dosadašnji pristupi korekciji knjižnice vještina oslanjali su se uglavnom na procjenu LLM-a samog — model je procjenjivao koje su vještine korisne. Autori argumentiraju da je ovo konceptualno pogrešno za zadatak korekcije: generiranje vještine iz iskustva kreativni je akt u kojemu je LLM dobar, ali odluka je li ta vještina zaista korisna zahtijeva empirijske dokaze iz niza zadataka. Model ne može sam procijeniti vlastite slijepe točke. Spajanje ta dva zadatka u istoj LLM prosudbi ostavlja sustav bez objektivne metrike i bez mehanizma za otkrivanje kontekstualne štetnosti.

Kako ASSAY razdvaja kreativno od empirijskog?

ASSAY dijeli korekciju na dvije odvojene faze. U prvoj fazi, generiranje vještina ostaje kreativni zadatak koji agent obavlja standardno — iz iskustva i interakcija. U drugoj fazi, ASSAY mjeri uzročni doprinos svake vještine pomoću randomiziranog maskiranja na malom razvojnom skupu: za svaki zadatak, vještina se nasumično isključuje i mjeri se efekt na ishod zadatka. Iz tih mjerenja sustav gradi per-skill atribucijsku sliku — za koji tip zadatka vještina pomaže, za koji šteti. Na temelju te slike, ASSAY dinamički suzbija vještine s negativnim predviđenim efektom za svaki konkretan testni zadatak u trenutku inferencije. Nema izmjena težina, nema globalnog brisanja vještina — isključivo kontekstualno filtriranje pri izvođenju.

Novi rekord na AppWorldu i tau-benchu

Eksperimenti pokrivaju 7 baznih modela od 4 pružatelja usluga i 2 benchmarka — AppWorld i tau-bench. Na najtežem dijelu AppWorld benchmarka, DeepSeek-V3 s ASSAY-em postiže 69,3 % dovršetka ciljeva zadataka — relativno poboljšanje od 47,4 % u odnosu na baseline i novo state-of-the-art uključujući metode koje koriste podešavanje težina. Na tau-bench retail dijelu, GPT-4.1 s ASSAY-em bilježi relativno poboljšanje od 8,7 % i nadmašuje o4-mini, o1 i GPT-4.5 na javnoj ljestvici — bez ikakvog weight-tuninga. Rezultati su konzistentni kroz sve testirane modele i oba benchmarka, što sugerira da nalaz nije artefakt specifičnog modela.

Per-task maskiranje: ključni faktor poboljšanja

Ablacije precizno lociraju izvor poboljšanja. Globalno uklanjanje vještina s negativnim prosječnim efektom donosi manji dobitak od per-task maskiranja. Ključna razlika je u granularnosti konteksta: ista vještina koja je loša za prosječni zadatak može biti korisna za specifičan tip zadatka, i obrnuto. Per-task maskiranje to razlikuje; globalni pristup ne može. Autori zaključuju da je bottleneck za agente koji uče iz iskustva usklađivanje vještina s tipom zadatka u trenutku inferencije — ne globalno čišćenje knjižnice. Ova distinkcija je praktično važna: implicira da sustav koji zna koji zadatak rješava može dinamički odabirati pravi podskup znanja, umjesto da prenosi cijelu akumuliranu knjižnicu bez filtriranja. Kod je dostupan javno na GitHubu.