Treniranje
Učenje iz konteksta (In-Context Learning)
Sposobnost jezičnog modela da novi zadatak nauči iz primjera danih u promptu — bez ažuriranja težina — oslanjajući se na few-shot ili zero-shot demonstracije.
Učenje iz konteksta (In-Context Learning, ICL) sposobnost je velikog jezičnog modela da novi zadatak riješi na temelju primjera ili uputa danih unutar samog prompta — bez ikakvog ažuriranja težina. Za razliku od fino podešavanja, koje trajno mijenja parametre modela, ICL je privremen: model “uči” samo za tekuću sesiju i znanje koristi izravno pri inferenciji.
Razlikuju se varijante prema broju primjera: kod zero-shot modelu se daje samo opis zadatka, dok mu few-shot pristup pruža nekoliko parova ulaz–izlaz iz kojih razabire traženi obrazac. Pojam je popularizirao GPT-3 (Brown i sur., 2020.), pokazavši da dovoljno velik model rješava nove zadatke “čisto tekstom, bez gradijentnih ažuriranja”.
ICL se često smatra emergentnim svojstvom koje jača s veličinom modela. Tijekom 2025.-2026. njegova praktična važnost raste s velikim kontekstualnim prozorima: many-shot ICL sa stotinama primjera u nekim zadacima približava se kvaliteti fino podešenih modela, a temelj je i tehnika poput lanca razmišljanja.