arXiv:2606.05610: Predvidljivi zakoni skaliranja hiperparametara za nastavljeni pre-training

Znanstveni rad objavljen na arXiv-u (oznaka 2606.05610) 4. lipnja 2026. predstavlja okvir koji empirijskim zakonima skaliranja predviđa optimalne hiperparametre tijekom nastavljenog pre-treninga (continued pre-training) velikih jezičnih modela. Cilj je zamijeniti skupu, ručnu pretragu hiperparametara predvidljivim, izračunljivim pravilima.

Što je nastavljeni pre-training i u čemu je problem?

Nastavljeni pre-training (CPT) je faza u kojoj se već istrenirani LLM dodatno predtrenira na novom korpusu — primjerice radi prilagodbe specifičnoj domeni, jeziku ili podatkovnom režimu. Za razliku od treninga od nule, kreće od postojećih težina, što mijenja kako treba postaviti hiperparametre poput stope učenja ili rasporeda. Dosad se ti hiperparametri uglavnom tražili eksperimentalno, što je računski skupo i nepouzdano jer optimalne postavke ovise o količini računa i karakteristikama modela.

Kako okvir predviđa hiperparametre?

Rad nudi dvostupanjski pristup utemeljen na empirijskim zakonima skaliranja — matematičkim odnosima koji povezuju količinu računa s ponašanjem modela. U prvom stupnju izvode se funkcije koje preslikavaju compute (računske resurse) u optimalne postavke, i to pomoću proxy modela. Proxy modeli su manji, jeftiniji modeli koji služe za kalibraciju zakona prije nego se rezultat ekstrapolira na ciljani, veći model. Time se optimalne postavke procjenjuju unaprijed, umjesto da se traže iscrpno.

Što je “ekvivalentni pre-training compute”?

Drugi stupanj uvodi procjenu ekvivalentnog pre-training computea iz validacijskog gubitka (validation loss) checkpointa. Ideja je da se trenutno stanje modela — uhvaćeno kroz njegov gubitak na validacijskom skupu — prevede u veličinu koja izražava koliko bi “ekvivalentnog” predtreniranja taj checkpoint predstavljao. Ta procjena povezuje stvarno stanje modela sa zakonima skaliranja iz prvog stupnja, omogućujući precizniji odabir postavki za nastavak treninga bez ponovne skupe pretrage.

Koliko se smanjuje trošak?

Praktična vrijednost okvira leži u uštedi. Autori navode da pristup postiže usporedive ili bolje performanse uz smanjenje troška pretrage hiperparametara do 90%. To je značajno jer pretraga hiperparametara na velikim modelima može potrošiti znatan dio ukupnog budžeta treninga. Predvidljivim pravilima taj se trošak velikim dijelom eliminira, a kvaliteta rezultata ostaje na razini ili iznad ručno pronađenih postavki.

Zašto je model-agnostičnost važna?

Okvir je opisan kao model-agnostički — nije vezan uz jednu arhitekturu niti specifičan model, nego se može primijeniti šire na različite LLM-ove. To povećava njegovu korisnost u praksi, jer tim koji radi nastavljeni pre-training ne mora iznova razvijati metodologiju za svaki model. U kombinaciji s dvostupanjskim postupkom i empirijskim zakonima skaliranja, okvir nudi sustavan, prenosiv recept za jeftinije i predvidljivije prilagođavanje velikih modela novim podacima.