arXiv: CL-Bench benchmark kontinualnog učenja

Znanstveni rad arXiv:2606.05661 predstavlja CL-Bench, prvi težak i ekspertski validiran benchmark koji mjeri poboljšavaju li se LLM sustavi stvarno kroz sekvencijalno iskustvo. Evaluacija frontier modela otkriva probleme s ponovnom upotrebom znanja i prenaučavanjem na neposredna opažanja. Čak i namjenske memorijske arhitekture podbacuju u odnosu na jednostavan in-context learning.

CL-Bench, prvi težak i ekspertski validiran benchmark za kontinualno učenje (continual learning) velikih jezičnih modela, predstavljen je u znanstvenom radu objavljenom na arXiv-u (oznaka 2606.05661) 4. lipnja 2026.. Cilj benchmarka je odgovoriti na konkretno pitanje: poboljšavaju li se LLM sustavi stvarno kroz sekvencijalno iskustvo, i to mjereno kroz šest različitih domena.

Što je CL-Bench i koji problem rješava?

CL-Bench je osmišljen kako bi izmjerio sposobnost koja se često pretpostavlja, ali rijetko rigorozno testira — kontinualno učenje. Pod tim se podrazumijeva da se sustav trajno poboljšava dok prolazi kroz niz uzastopnih zadataka, akumulirajući iskustvo i ponovo ga koristeći. Za razliku od jednokratnih testova znanja, CL-Bench prati dinamiku kroz sekvencu. Autori ga opisuju kao prvi benchmark te vrste koji je istovremeno težak i ekspertski validiran, dakle s pitanjima i očekivanim ishodima koje su provjerili stručnjaci, a ne automatizirani postupak.

Što znači “ekspertski validiran” i zašto je to bitno?

Ekspertska validacija znači da su sadržaj i točnost zadataka prošli kroz ljudsku stručnu provjeru. To je važno jer benchmarki generirani isključivo automatski često sadrže pogreške, dvosmislenosti ili zadatke koje se može riješiti prečacima. Time što je validiran od eksperata, CL-Bench teži pružiti pouzdaniju sliku stvarnih sposobnosti sustava. Pokrivanje šest različitih domena dodatno smanjuje rizik da rezultat ovisi o jednom uskom području znanja.

Kako se frontier modeli ponašaju na CL-Benchu?

Evaluacija vodećih (frontier) modela donijela je otrežnjujuće nalaze. Sustavi pokazuju izražene probleme s ponovnom upotrebom znanja (knowledge reuse) — ne uspijevaju učinkovito iskoristiti ono što su naučili u ranijim koracima sekvence. Uz to, autori bilježe prenaučavanje na neposredna opažanja, odnosno sklonost modela da se previše veže uz najnovije ulaze umjesto da gradi stabilno, prenosivo znanje. Te dvije slabosti zajedno potkopavaju samu ideju kontinualnog poboljšavanja.

Pomažu li namjenske memorijske arhitekture?

Možda najznačajniji nalaz tiče se memorijskih arhitektura. Intuitivno bi se očekivalo da sustavi posebno dizajnirani s mehanizmima pamćenja nadmaše jednostavnije pristupe. Rezultati pokazuju suprotno: čak i namjenske memorijske arhitekture podbacuju u odnosu na jednostavan in-context learning, gdje se relevantne informacije jednostavno dodaju u kontekst (prompt) modela. To sugerira da trenutni dizajni memorije ne donose obećanu prednost na realnim, validiranim zadacima.

Zašto je CL-Bench važan za razvoj agenata?

Za područje AI agenata nalazi imaju praktičnu težinu. Agenti koji rade kroz duge sekvence zadataka oslanjaju se upravo na sposobnost da uče iz prošlih koraka. Ako frontier modeli i namjenske memorije zakazuju na ovom benchmarku, to upućuje da je kontinualno učenje i dalje otvoren istraživački problem, a ne riješena stvar. CL-Bench tako daje zajednici mjerni instrument za napredak i jasno pokazuje gdje su trenutna ograničenja.

Česta pitanja

Što je CL-Bench i po čemu je prvi?

CL-Bench je prvi težak, ekspertski validiran benchmark za kontinualno učenje (continual learning) LLM sustava. Mjeri poboljšavaju li se sustavi stvarno kroz sekvencijalno iskustvo, i to kroz šest različitih domena. Validacija od strane eksperata znači da su zadaci i odgovori provjereni od stručnjaka, a ne automatski generirani.

Što je continual learning?

Continual learning (kontinualno učenje) je sposobnost sustava da se trajno poboljšava kako akumulira iskustvo kroz niz uzastopnih zadataka, bez zaboravljanja ranije naučenog. Cilj je da model ponovo upotrijebi prethodno stečeno znanje na novim, povezanim problemima umjesto da svaki zadatak rješava od nule.

Koji su glavni nalazi evaluacije frontier modela?

Evaluacija je otkrila da frontier sustavi imaju problema s ponovnom upotrebom znanja (knowledge reuse) i da se prenaučavaju na neposredna opažanja. Najvažnije, čak i namjenske memorijske arhitekture podbacuju u odnosu na jednostavan in-context learning, što sugerira da trenutni pristupi memoriji ne donose očekivanu prednost.

arXiv:2606.05661: CL-Bench — prvi ekspertski validiran benchmark kontinualnog učenja