arXiv:2606.07040: Beyond Rubrics — evaluacijske vještine vođene eksploracijom za reward modeling

Istraživači su 5. lipnja 2026. na arXiv repozitoriju objavili rad (oznaka arXiv:2606.07040) pod naslovom “Beyond Rubrics”, koji predstavlja metodu Eval-Skill za reward modeling (modeliranje nagrade) vođen eksploracijom. Cilj je učinkovitije i konzistentnije ocjenjivanje odgovora jezičnih modela bez ponavljanja skupog generiranja kriterija za svaki upit.

U čemu je problem klasičnih rubrika?

U sustavima gdje jedan model ocjenjuje odgovore drugog modela — postavka poznata kao LLM-as-a-judge (jezični model u ulozi suca) — uobičajeno je da se za svaki pojedinačni upit generira poseban skup kriterija ocjenjivanja, takozvana rubrika. Taj pristup je fleksibilan, ali skup: generiranje novih kriterija za svaki primjer troši znatne računalne resurse i unosi nedosljednost.

Rad arXiv:2606.07040 polazi od ideje da se umjesto kriterija po upitu mogu izgraditi širi, ponovno upotrebljivi obrasci ocjenjivanja koji vrijede za cijelu domenu. Time se posao obavlja jednom, a koristi mnogo puta.

Kako Eval-Skill funkcionira?

Eval-Skill kroz eksploraciju sintetizira domenske evaluacijske vještine — strukturirano znanje o tome što čini dobar odgovor u nekoj domeni. Metoda radi u dvije faze: prvo se generira workflow (tok rada), a potom se iz njega izvode principi (principle generation) koji vode ocjenjivanje.

Za izgradnju tih vještina koristi se iznenađujuće malo podataka — samo 100 slučajeva po domeni. Naučene vještine zatim se ugrađuju izravno u kontekst suca, pa model-sudac pri ocjenjivanju već raspolaže relevantnim smjernicama umjesto da ih iznova izmišlja. Time se smanjuje compute overhead (dodatno računalno opterećenje).

Kakve rezultate metoda postiže?

Učinkovitost je mjerena na benchmarku RewardBench 2, standardnom mjerilu za reward modele. Eval-Skill donosi poboljšanje od +13,44% za model Qwen3-8B i čak +18,51% za DeepSeek-V4-Flash, oboje u usporedbi s baseline ocjenjivanjem (osnovnim pristupom bez naučenih vještina).

Posebno je vrijedno istaknuti da su dobici konzistentni kroz različite arhitekture suca, što sugerira da metoda nije vezana uz jedan konkretan model već se prenosi na više sustava. To je važan pokazatelj robusnosti.

Zašto je ovo bitno za zajednicu?

Pouzdano ocjenjivanje odgovora temelj je usklađivanja (alignment) i treniranja jezičnih modela. Ako je sudac jeftiniji za pokretanje i istovremeno točniji, smanjuju se troškovi cijelog reward modeling procesa i poboljšava kvaliteta povratnog signala koji modeli dobivaju tijekom učenja.

Autori su kod objavili kao open-source, čime su drugim timovima omogućili da metodu Eval-Skill isprobaju na vlastitim domenama i sucima. Za istraživače koji rade na učenju s pojačanjem i automatskoj evaluaciji, ovo je praktičan alat s mjerljivim dobicima i niskim ulaznim troškom od svega stotinu primjera po domeni.

Širi je značaj rada u tome što pomiče naglasak s ad-hoc kriterija prema sustavno naučenim, prenosivim vještinama ocjenjivanja. Takav pristup mogao bi smanjiti varijabilnost koja prati ručno pisane rubrike i učiniti automatsku evaluaciju predvidljivijom. Kako se sve više faza treniranja modela oslanja na automatske ocjene, kvaliteta i cijena samog suca postaju strateški važne, a metode poput Eval-Skill izravno se obraćaju oba ta pitanja.