arXiv:2607.08733: 'Super težine' objašnjavaju zašto selektivni fine-tuning zakazuje — rad prihvaćen na COLM 2026

Rad “Super Weights in LLMs and the Failure of Selective Training” (arXiv:2607.08733), autora Subramaniana, Akinfaderina i Sehwaga, prihvaćen je na COLM 2026 (Conference on Language Modeling). Rad identificira “super težine” — vrlo malen broj parametara u jezičnom modelu čija izmjena nesrazmjerno mijenja njegovo ponašanje, u mjeri koja ne odgovara njihovom broju.

Zašto je nekoliko parametara toliko važno?

U modelu s milijardama parametara intuicija govori da je svaki pojedinačni zanemariv. Rad pokazuje suprotno: postoji šačica težina toliko utjecajnih da njihovo mijenjanje ili izostavljanje drastično pomiče izlaze modela. Te super težine djeluju kao kritične točke — koncentracija utjecaja u minijaturnom podskupu parametara.

Posljedica za fine-tuning

Nalaz izravno objašnjava dugogodišnju zagonetku prakse: zašto selektivni fine-tuning, koji ažurira samo neke slojeve, ponekad ne daje rezultate punog treniranja. Ako metoda promaši super težine, može mijenjati milijune parametara, a ipak ne postići željeni učinak. To je posebno relevantno za parametarski učinkovite metode (PEFT) poput LoRA i adapter-tuninga, koje su danas standard jer štede memoriju i vrijeme — ali, prema ovom radu, po cijeni rizika da preskoče upravo najvažnije težine.

Praktična vrijednost

Za timove koji fino-tuniraju modele nalaz nudi dijagnozu, ne samo zagonetku: prije odabira selektivne metode vrijedi provjeriti dodiruje li ona kritične parametre. Rad se uklapa u širi val istraživanja iz srpnja 2026. o unutarnjoj strukturi modela — od interpretabilnosti do ekstrakcijskih napada — koji frontier modele sve više tretira kao sustave čije ponašanje treba razumjeti, a ne samo mjeriti na benchmarku.