Allen Institute BAR: modularno post-treniranje s mixture-of-experts donosi +7,8 poena za matematiku na OLMo 2 7B
BAR (Branch-Adapt-Route) je novi modularni pristup post-treniranju iz Allen Institute for AI koji omogućuje nezavisno treniranje domain eksperata — matematika, kod, tool use, sigurnost — i njihovo spajanje u unified mixture-of-experts model. Rezultati na OLMo 2 7B: 49,1 prosječni skor, +7,8 poena za matematiku i +4,7 za kod nad baseline retrainingom.
Ovaj članak generiran je uz pomoć umjetne inteligencije na temelju primarnih izvora.
Što je BAR i kako radi?
Allen Institute for AI je 20. travnja 2026. objavio BAR (Branch-Adapt-Route), novi modularni pristup post-treniranju jezičnih modela. Umjesto klasičnog monolitičnog pristupa — gdje jedan model prolazi kroz jedan veliki post-training pipeline — BAR omogućuje nezavisno treniranje više specijaliziranih eksperata:
- Matematika
- Kod
- Tool use (korištenje vanjskih alata)
- Sigurnost
Svaki ekspert trenira se odvojeno na svojoj domeni, a zatim se kroz mehanizam routinga spaja u jedan unified mixture-of-experts (MoE) model. MoE arhitektura znači da model ima više specijaliziranih podmodela, a router za svaki upit bira koji ekspert će odgovoriti.
Koliko BAR poboljšava performanse?
Rezultati na OLMo 2 7B, otvorenom modelu Allen Institutea, mjereni su kroz 19 benchmarka:
- 49,1 prosječni skor (vs 47,8 za monolitični retraining baseline)
- +7,8 poena za matematiku
- +4,7 poena za kod
Razlika od 1,3 poena u prosjeku može zvučati skromno, ali u domain-specifičnim područjima kao što su matematika i kod, poboljšanje od 5-8 poena je značajno — osobito zato što je ostvareno bez pada u drugim područjima.
Zašto je modularnost važnija od benchmarka?
Pravi proboj BAR-a nije skor na benchmarku, nego mogućnost incrementalnog poboljšavanja. U klasičnom pristupu, svako veće poboljšanje modela znači puni retraining — ponovno pokretanje skupog post-training procesa. Kod BAR-a pojedini ekspert može se zamijeniti ili nadograditi bez disrupcije ostatka sustava:
- Zamjena code eksperta novim, boljim: +16,5 poena za kod
- Dodavanje reinforcement learninga (RL) za math eksperta: +13 poena za matematiku
To je pristup koji podsjeća na način kako se razvija softver — modularni servisi koji se nadograđuju nezavisno — umjesto monolitnog rebuilda cijelog sustava.
Što rješava kod catastrophic forgetting problema?
Jedan od najvećih problema u AI istraživanju je catastrophic forgetting: kad novo znanje “briše” staro. Ako model fine-tuniraš za matematiku, postoji realna šansa da pogoršaš njegove sposobnosti u drugim domenama (npr. poezija, dijalog, kod). To čini incrementalno poboljšavanje rizičnim.
BAR to elegantno rješava izolacijom eksperata — dok svaki ekspert trenira u svojoj domeni, ne dodiruje težine drugih eksperata. Router samo uči kada koristi kojeg. Tako se može dodavati specijalizacija bez straha od regresije.
Implikacije za open-source zajednicu
Za otvorene modele BAR otvara vrlo važnu mogućnost — distribuirani razvoj. Različiti istraživački timovi mogu doprinijeti različitim ekspertima, a onda se ti eksperti spajaju u zajednički model. To je pristup koji bi mogao drastično ubrzati evoluciju open-source modela.
Praktično, autori BAR-a sugeriraju pattern gdje “base” model ostaje stabilan dugo vremena, a poboljšanja dolaze kroz objavljivanje novih eksperata. To bi moglo promijeniti kako open-source AI zajednica surađuje — manje “tko ima najbolji 7B model”, više “čiji je math ekspert trenutno najbolji”.
Allen Institute je time potvrdio svoju poziciju kao jedan od najvažnijih igrača u otvorenom AI istraživanju, uz prednost objavljivanja cijele metodologije i težina eksperata.
Česta pitanja
- Što znači mixture-of-experts?
- Mixture-of-experts (MoE) je arhitektura gdje model ima više specijaliziranih podmodela ('eksperata') i router komponentu koja za svaki ulaz odlučuje koji ekspert će odgovoriti. Tako model može biti velik po kapacitetu, ali aktivirati samo dio parametara po upitu, što štedi računalne resurse.
- Što je 'catastrophic forgetting' i kako BAR to rješava?
- Catastrophic forgetting je problem kad se model novom obukom 'zaboravi' staro znanje — poboljšaš matematiku, a pokvariš kod. BAR to rješava tako da svaki ekspert trenira u izolaciji na svojoj domeni, a spajanje kroz router znači da dodavanje novog eksperta ne ugrožava postojeće.
- Mogu li postojeći modeli iskoristiti BAR?
- Demonstracija je na OLMo 2 7B, otvorenom modelu Allen Institutea. Sama metodologija je primjenjiva na bilo koji transformer model, ali zahtijeva resurse za treniranje više eksperata paralelno. Za open-source zajednicu to je velika novost — omogućuje distribuirani razvoj modela gdje različiti timovi doprinose različitim ekspertima.