Treniranje
Samonadzirano učenje
Pristup treniranju gdje model uči iz neoznačenih podataka stvarajući vlastite ciljeve, npr. predviđanjem skrivenih tokena u rečenici.
Samonadzirano učenje (self-supervised learning, SSL) je paradigma strojnog učenja u kojoj model uči iz neoznačenih podataka tako što sam za sebe konstruira nadzorni signal. Umjesto ljudski pripremljenih oznaka, dio ulaza se sakriva ili izobliči, a model uči predvidjeti taj nedostajući dio iz preostalog konteksta.
Najpoznatiji primjer je masked language modeling kod BERT-a (zakrij riječ, pogodi je) i next-token prediction kod GPT obitelji (predvidi sljedeći token). U vizualnoj domeni, modeli poput SimCLR-a i DINO-a uče predviđati odnos između različitih pogleda iste slike.
Zašto je važno:
- Eliminira usko grlo ručnog označavanja podataka — internet, knjige i kod već postoje u golemim količinama
- Predstavlja temelj treniranja gotovo svakog velikog jezičnog modela i temeljnog modela danas
- Naučene reprezentacije zatim se fino podešavaju za specifične zadatke s puno manje označenih primjera
Yann LeCun zove SSL “tamnom materijom inteligencije” jer ljudi i životinje uglavnom uče upravo na taj način — promatranjem svijeta bez eksplicitnih oznaka. SSL je razlog zašto su moderni AI sustavi mogli skalirati od milijuna do trilijuna parametara bez razmjernog povećanja troška označavanja.