AWS: Self-Distilled Reasoning vraća matematičku točnost Amazon Nova 2 sa 6% na oko 68% nakon fine-tuninga

Što je Self-Distilled Reasoning i koji problem rješava?

AWS je predstavio Self-Distilled Reasoning (SDR), tehniku za supervised fine-tuning (nadzirani fine-tuning, dodatno treniranje modela na označenim primjerima) Amazon Nova 2 modela u situacijama kad trening podaci nemaju chain-of-thought (lanac razmišljanja) — korake rezoniranja koje model prolazi prije konačnog odgovora. Takvi podaci česti su u praksi: tvrtke imaju parove pitanje-odgovor bez zabilježenog puta zaključivanja, što otežava treniranje modela da samostalno rezonira.

Zašto vanilla fine-tuning uništava opću performansu?

Kad se model fine-tunea izravno na uske podatke bez reasoning tragova (vanilla SFT), opća matematička performansa modela pada sa 70% baznog modela na svega 6% — pojava poznata kao catastrophic forgetting (katastrofalno zaboravljanje), gubitak prethodno naučenih sposobnosti zbog preuskog naknadnog treninga. Model postaje dobar na uskom zadatku, ali gubi sposobnost rješavanja matematičkih problema koju je prethodno imao.

SDR koristi model da generira vlastite podatke za trening

Rješenje koje AWS predlaže koristi bazni Nova 2 Lite model da samostalno generira chain-of-thought tragove za postojeće trening podatke kojima ti tragovi nedostaju, bez potrebe za ljudskom anotacijom. Tako obogaćeni podaci potom se koriste za fine-tuning ciljanog modela. Rezultat: SDR postiže preko 6,5% relativno poboljšanje performanse na ciljanom zadatku i istovremeno vraća opću matematičku točnost sa 6% na oko 68% — razlika koja pokazuje koliko čuvanje reasoning sposobnosti tijekom fine-tuninga smanjuje kolateralnu štetu na ostale vještine modela.

Testirano na tri različita benchmarka

AWS je metodu testirao na tri benchmarka iz različitih domena: MedMCQA (medicinska pitanja), CoCoHD i Invoice-OCR (obrada računa). Dosljednost rezultata kroz tri nepovezana zadatka sugerira da SDR nije uskogrudno rješenje za jedan tip podataka, nego općenit pristup fine-tuningu kad reasoning tragovi u originalnim podacima jednostavno ne postoje.