Allen Institute BAR: modularno post-treniranje s mixture-of-experts donosi +7,8 poena za matematiku na OLMo 2 7B

Što je BAR i kako radi?

Allen Institute for AI je 20. travnja 2026. objavio BAR (Branch-Adapt-Route), novi modularni pristup post-treniranju jezičnih modela. Umjesto klasičnog monolitičnog pristupa — gdje jedan model prolazi kroz jedan veliki post-training pipeline — BAR omogućuje nezavisno treniranje više specijaliziranih eksperata:

• Matematika
• Kod
• Tool use (korištenje vanjskih alata)
• Sigurnost

Svaki ekspert trenira se odvojeno na svojoj domeni, a zatim se kroz mehanizam routinga spaja u jedan unified mixture-of-experts (MoE) model. MoE arhitektura znači da model ima više specijaliziranih podmodela, a router za svaki upit bira koji ekspert će odgovoriti.

Koliko BAR poboljšava performanse?

Rezultati na OLMo 2 7B, otvorenom modelu Allen Institutea, mjereni su kroz 19 benchmarka:

• 49,1 prosječni skor (vs 47,8 za monolitični retraining baseline)
• +7,8 poena za matematiku
• +4,7 poena za kod

Razlika od 1,3 poena u prosjeku može zvučati skromno, ali u domain-specifičnim područjima kao što su matematika i kod, poboljšanje od 5-8 poena je značajno — osobito zato što je ostvareno bez pada u drugim područjima.

Zašto je modularnost važnija od benchmarka?

Pravi proboj BAR-a nije skor na benchmarku, nego mogućnost incrementalnog poboljšavanja. U klasičnom pristupu, svako veće poboljšanje modela znači puni retraining — ponovno pokretanje skupog post-training procesa. Kod BAR-a pojedini ekspert može se zamijeniti ili nadograditi bez disrupcije ostatka sustava:

• Zamjena code eksperta novim, boljim: +16,5 poena za kod
• Dodavanje reinforcement learninga (RL) za math eksperta: +13 poena za matematiku

To je pristup koji podsjeća na način kako se razvija softver — modularni servisi koji se nadograđuju nezavisno — umjesto monolitnog rebuilda cijelog sustava.

Što rješava kod catastrophic forgetting problema?

Jedan od najvećih problema u AI istraživanju je catastrophic forgetting: kad novo znanje “briše” staro. Ako model fine-tuniraš za matematiku, postoji realna šansa da pogoršaš njegove sposobnosti u drugim domenama (npr. poezija, dijalog, kod). To čini incrementalno poboljšavanje rizičnim.

BAR to elegantno rješava izolacijom eksperata — dok svaki ekspert trenira u svojoj domeni, ne dodiruje težine drugih eksperata. Router samo uči kada koristi kojeg. Tako se može dodavati specijalizacija bez straha od regresije.

Implikacije za open-source zajednicu

Za otvorene modele BAR otvara vrlo važnu mogućnost — distribuirani razvoj. Različiti istraživački timovi mogu doprinijeti različitim ekspertima, a onda se ti eksperti spajaju u zajednički model. To je pristup koji bi mogao drastično ubrzati evoluciju open-source modela.

Praktično, autori BAR-a sugeriraju pattern gdje “base” model ostaje stabilan dugo vremena, a poboljšanja dolaze kroz objavljivanje novih eksperata. To bi moglo promijeniti kako open-source AI zajednica surađuje — manje “tko ima najbolji 7B model”, više “čiji je math ekspert trenutno najbolji”.

Allen Institute je time potvrdio svoju poziciju kao jedan od najvažnijih igrača u otvorenom AI istraživanju, uz prednost objavljivanja cijele metodologije i težina eksperata.