arXiv:2607.16122: CRAFT metoda klasterira kriterije ocjenjivanja i otkriva slabosti kod jezičnih modela

Kako CRAFT dijagnosticira slabosti jezičnog modela?

Vipul Gupta i suradnici u radu “CRAFT: Clustering Rubrics to Diagnose Weak LLM Capabilities and Generate Targeted Fine-Tuning Data” (arXiv:2607.16122) predlažu metodu koja postojeće rubric-based evaluacijske podatke pretvara u model-specifičnu dijagnozu. Rubrika je kriterij ocjenjivanja koji definira što odgovor modela mora sadržavati da bi bio ocijenjen točnim ili potpunim. CRAFT klasterira te kriterije u hijerarhijsko stablo sposobnosti, pa umjesto jednog zbirnog rezultata otkriva točno koji su čvorovi tog stabla najslabiji za pojedini model.

Od dijagnoze do ciljanih fine-tuning podataka

Nakon što identificira najslabije čvorove, CRAFT za njih generira ciljane podatke za fine-tuning — dodatno treniranje modela na uskom skupu primjera osmišljenih da poprave upravo tu slabost. Metoda je testirana na 4 open-source modela, u 2 profesionalne domene (financije i pravo) te na 13 held-out benchmarkova, odnosno testnih skupova koje modeli nisu vidjeli tijekom treniranja niti tijekom kreiranja rubrika.

Financije 4/4 naspram prava 3/4

CRAFT postiže najjači prosjek rezultata u financijskoj domeni kod svih 4 testirana modela, dok u pravnoj domeni ostvaruje najjači prosjek kod 3 od 4 modela. Ta razlika sugerira da je pristup klasteriranja rubrika u financijskoj domeni dosljedniji neovisno o odabranom modelu, dok u pravnoj domeni jedan model odstupa od uzorka koji vrijedi za ostale.