Treniranje
Fine-tuning
Proces dodatnog treniranja prethodno treniranog jezičnog modela na manjem, specifičnom skupu podataka kako bi se specijalizirao za određenu zadaću ili domenu.
Fine-tuning je postupak uzimanja prethodno treniranog velikog jezičnog modela i nastavak treniranja na manjem, kuriranom skupu podataka kako bi se specijalizirao za određenu zadaću, domenu ili stil. Model zadržava opću jezičnu sposobnost dok prilagođava težine novom cilju.
Tipični razlozi za fine-tuning:
- Domenska ekspertiza — pravni, medicinski, financijski jezik
- Brand glas — konzistentan ton za proizvod
- Specijalizacija zadaće — pouzdanost function-callinga, strukturirani output
- Performanse — manji fine-tunan model može nadmašiti veći generalni na uskoj zadaći
Moderna praksa koristi parameter-efficient fine-tuning (PEFT) — LoRA, QLoRA — koji trenira samo mali adapter povrh zamrznutih osnovnih težina. To smanjuje VRAM zahtjeve 10-100×, čineći fine-tuning praktičnim na jednom GPU-u. Potpuni fine-tuning (ažuriranje svih težina) rezerviran je za projekte najveće skale.
Fine-tuning se razlikuje od:
- Pre-training: početno treniranje na cijelom web korpusu
- RLHF / DPO: alignment iz ljudskih preferencija (često faza fine-tuninga)
- Prompt engineering: mijenja se samo ulaz, ne i model
- RAG: dohvaćanje konteksta u trenutku inference-a, bez modifikacije modela
Za većinu produktnih slučajeva u 2026., RAG i prompt engineering dosegnu prihvatljivu kvalitetu bez fine-tuninga. Fine-tuning ima smisla kad imaš usku, ponovljivu zadaću i barem nekoliko stotina kvalitetnih primjera.