arXiv:2607.12463: funkcijski svjestan FIM mid-trening podiže coding-agente do +5,4 na SWE-Benchu
Yubo Wang i sur. (8 autora) uvode mid-trening metodom function-aware FIM koristeći analizu program dependency grafa. Na SWE-Bench-Lite postiže poboljšanje od +3,7 do +5,4 boda na Qwen2.5-Coder i Qwen3-8B modelima, uz trening korpus od 2,6 milijardi tokena iz 968 GitHub repozitorija.
Ovaj članak generiran je uz pomoć umjetne inteligencije na temelju primarnih izvora.
Što su FIM i mid-trening?
FIM (Fill-in-the-Middle) je tehnika treninga gdje model popunjava isječak koda između zadanog prefiksa i sufiksa — umjesto da generira samo nastavak, mora razumjeti i kontekst koji dolazi nakon. Mid-trening je faza između pred-treninga (na velikim korpusima) i fine-tuninga (na specifičnim zadacima): cilj joj je oblikovati temelje modela za određenu domenu, a da se ne uništi opća sposobnost. Yubo Wang i sedam suautora na arXiv-u kombiniraju ove dvije tehnike u novu metodu specifično za kodne agente.
Funkcijski svjestan FIM: uloga dependency grafa
Standardni FIM maskira nasumične isječke koda. Novost istraživanja je function-aware pristup: maskirane regije biraju se svjesno prema program dependency grafu koji modelira ovisnosti između funkcija u kodu. To znači da model uči popunjavati upravo ona mjesta gdje je razumijevanje međuovisnosti funkcija kritično — što odgovara stvarnim zadacima agentskog programiranja. Trening korpus obuhvaća 2,6 milijardi tokena iz 968 GitHub repozitorija, što daje statistički reprezentativan uzorak stvarnih kodnih baza.
Rezultati na SWE-Bench: konkretni skokovi
Metoda je validirana na dva standardna benchmarka za agentsko programiranje:
- SWE-Bench-Verified: poboljšanje od +2,8 do +3,2 boda na Qwen2.5-Coder (7B i 14B varijanta) i Qwen3-8B
- SWE-Bench-Lite: poboljšanje od +3,7 do +5,4 boda
Usporedi s tipičnim poboljšanjima fine-tuninga na specifičnim zadacima, koja rijetko prelaze 2-3 boda bez regresije na općim sposobnostima. Ovdje je ključno da metoda čuva ne-agentske coding sposobnosti i uz agentski post-trening — poboljšanje nije kupljeno na račun opće kvalitete modela.
Zašto je ovo važno za male modele
Rezultati na modelima od 7B i 8B parametara posebno su značajni: pokazuju da mid-trening može kompenzirati manji kapacitet modela za agentske zadatke koji zahtijevaju razumijevanje složenih ovisnosti u kodu. Za organizacije koje ne mogu priuštiti pokretanje modela s desetinama milijardi parametara, function-aware FIM nudi praktičan put prema jačim kodnim agentima uz zadržavanje troškova inferencije.
Česta pitanja
- Što je FIM mid-trening i po čemu se razlikuje od standardnog fine-tuninga?
- FIM (Fill-in-the-Middle) je trening u kojem model popunjava kod između zadanog prefiksa i sufiksa. Function-aware varijanta koristi analizu program dependency grapha i primjenjuje se u fazi mid-treninga, između pred-treninga i završnog fine-tuninga.
- Koliko se poboljšava SWE-Bench rezultat s function-aware FIM metodom?
- Na SWE-Bench-Verified metoda donosi +2,8 do +3,2 boda, a na SWE-Bench-Lite +3,7 do +5,4 boda, i to na modelima Qwen2.5-Coder (7B/14B) i Qwen3-8B.
📬 AI vijesti u tvoj inbox
Dnevni digest po tvojoj mjeri — biraš teme, izvore i ritam. Odjava jednim klikom.
Povezane vijesti
arXiv:2607.13034: E3 okvir — agenti procjenjuju složenost zadatka i troše 91% manje tokena
arXiv:2607.12385: PM-Bench mjeri 'prospektivnu memoriju' agenata — najbolji GPT-5.4 tek 65,1% F1
arXiv:2607.11185: SCALECUA skalira computer-use agente uz RL — 68,7% na OSWorldu