arXiv:2606.06888: Predtreniranje uz manjak podataka — scaling zakon SoftQ i regularizacija MIR

Istraživači su 5. lipnja 2026. na arXiv repozitoriju objavili rad (oznaka arXiv:2606.06888) koji se bavi predtreniranjem (pre-training) jezičnih modela u uvjetima kada raspoloživi compute (računalna snaga) raste brže od dostupnih prirodnih tekstualnih podataka. Rad predstavlja dvije ključne novosti: regularizacijsku tehniku MIR i scaling zakon nazvan SoftQ.

Zašto je manjak podataka uopće problem?

Suvremeni jezični modeli treniraju se na sve većim količinama računalne snage, no količina kvalitetnog, jedinstvenog teksta na internetu nije neograničena. Kada compute raste brže od dostupnih podataka, timovi su prisiljeni iste podatke koristiti više puta, što se naziva ponovljena ekspozicija podataka (data repetition).

Problem je u tome što ponavljanje istih primjera vodi do prenaučenosti (overfitting) — model počinje pamtiti podatke umjesto da uči generalizirati. Rad arXiv:2606.06888 upravo cilja na taj scenarij, predlažući metode koje iz ograničenog skupa podataka izvlače više korisne informacije.

Što je masked-input regularizacija (MIR)?

Središnji doprinos rada je MIR (masked-input regularization), odnosno regularizacija putem maskiranih ulaza. Riječ je o pomoćnom next-token gubitku (predviđanju sljedećeg tokena) koji se računa na slučajno maskiranim ulazima tijekom treniranja. Maskiranjem dijela ulaza model se prisiljava da nauči robusnije reprezentacije, umjesto da se oslanja na površinske obrasce.

Autori su MIR testirali na modelima veličine od 72 milijuna do 1,4 milijarde parametara. Rezultati pokazuju da kombinacija MIR + weight decay (opadanje težina) nadmašuje korištenje samog weight decaya, uz mjerljive downstream dobitke (poboljšanja na zadacima koji slijede nakon predtreniranja) na modelu od 1,4 milijarde parametara.

Što donosi scaling zakon SoftQ?

Druga novost je SoftQ, novi scaling zakon (zakon skaliranja). Scaling zakoni matematički opisuju kako se performanse modela mijenjaju s promjenom veličine modela i količine podataka. Najpoznatiji takav zakon, Chinchilla, koristi aditivni pristup koji ne hvata dobro situaciju ponovljene ekspozicije podataka.

SoftQ je dizajniran upravo za uvjete s ograničenim podacima jer bolje modelira interakciju između veličine modela i podataka kada se podaci ponavljaju. To timovima daje precizniji alat za predviđanje koliko će im podataka i parametara trebati u realnim, podatkovno ograničenim postavkama.

Koliko vrijede ovi dobici i je li kod dostupan?

Autori dobitke od MIR-a kvantificiraju usporedbom s količinom podataka: procjenjuju da poboljšanja odgovaraju otprilike 1,3 puta većoj količini jedinstvenih podataka. Drugim riječima, primjenom MIR-a model iz istog skupa izvlači onoliko koliko bi inače dobio iz znatno većeg skupa.

Za zajednicu je posebno relevantno što su autori kod objavili kao open-source, čime drugim istraživačima omogućuju reprodukciju rezultata i testiranje MIR-a te scaling zakona SoftQ na vlastitim modelima. U eri kada se sve glasnije govori o približavanju granicama dostupnih podataka, ovakvi pristupi mogli bi postati standardni dio recepta za predtreniranje.