Temelji
Emergentne sposobnosti
Sposobnosti kojih nema u manjim modelima, a naglo se pojavljuju s povećanjem skale; sporna tvrdnja — kritičari je pripisuju izboru nelinearnih metrika.
Emergentne sposobnosti (emergent abilities) su sposobnosti kojih, prema definiciji Wei et al. (2022.), nema u manjim modelima, ali se pojavljuju u većima — i ne mogu se predvidjeti pukom ekstrapolacijom krivulje performansi manjih modela. Tipični primjeri uključuju učenje iz konteksta, slijeđenje uputa i korak-po-korak rezoniranje (vidi model rezoniranja).
Kako veliki jezični model raste u broju parametara i količini podataka za trening, na nekim zadacima točnost dugo ostaje na razini slučajnog pogađanja, a zatim naglo skoči nakon određenog praga. Taj nagli “fazni prijelaz” naveo je istraživače da govore o kvalitativno novim, neplaniranim sposobnostima.
Tvrdnja je sporna. Schaeffer et al. (2023., NeurIPS Outstanding Paper) pokazali su da naglost često nastaje zbog izbora nelinearnih metrika (poput stroge točnosti): kontinuirane metrike daju glatko, predvidljivo poboljšanje, pa “emergencija” nestaje. Rasprava ostaje aktivna 2025.-2026. jer izravno utječe na predviđanje rizika najnaprednijih modela i interpretaciju benchmarkova.