arXiv:2607.09424: Soofi S — suvereni open-source model za njemački i engleski treniran na Telekomovom cloudu
Soofi S je 30B MoE hibridni Mamba-Transformer model s 3B aktivnih parametara pretreniran na oko 27 bilijuna tokena, uključujući pojačane njemačke jezične podatke. Treniran isključivo na cloud infrastrukturi Deutsche Telekoma, nadmašuje sve europske suverene alternative i vodi code benchmark među 17 otvorenih modela.
Ovaj članak generiran je uz pomoć umjetne inteligencije na temelju primarnih izvora.
Istraživački tim (Soofi-Team) objavio je na arXiv-u rad o Soofi S — suverenom, potpuno otvorenom jezičnom modelu za njemački i engleski jezik. Model je pretreniran isključivo na cloud infrastrukturi Deutsche Telekoma u Münchenu, u sklopu inicijative German Industrial AI Cloud, što ga svrstava u rijetku kategoriju europskih AI modela s provjerenim podatkovnim suverenitetom.
Što je suvereni AI i zašto je arhitektura hibridna?
Suvereni AI model označava sustav koji je treniran i hostiran isključivo na domaćoj ili regionalnoj infrastrukturi, bez ovisnosti o stranim pružateljima računalnih resursa — čime organizacije zadržavaju punu kontrolu nad podacima i procesom. Soofi S koristi hibridnu Mamba-Transformer arhitekturu u Mixture-of-Experts (MoE) konfiguraciji: ukupno 30 milijardi parametara, od kojih su u svakom prolazu aktivna samo 3 milijarde. Taj omjer — 10:1 između ukupnih i aktivnih parametara — tipičan je za MoE modele i znači da Soofi S postiže sposobnosti usporedive s gustim modelima od 14 do 27 milijardi parametara uz znatno manji računalni trošak inferencije.
Koliko je podataka i kakvi su rezultati?
Model je pretreniran na otprilike 27 bilijuna tokena s namjernim pojačavanjem udjela njemačkih jezičnih podataka — što je neuobičajeno jer većina globalnih modela tretira njemački kao manjinski jezik. Na agregiranim EN/DE benchmarcima Soofi S odgovara gustim modelima od 14 do 27B, a na code benchmarku zauzima prvo mjesto od 17 otvorenih baseline modela testirane u oba jezika istovremeno. U usporedbi s OLMo 3 32B i Apertus 70B — koji se smatraju vodećim potpuno otvorenim europskim alternativama — Soofi S nadmašuje oboje, usprkos tome što je manji po broju aktivnih parametara.
Otvorenost i reproduktivnost
Autori objavljuju potpuno otvorene težine, checkpointe, hiperparametre i evaluacijski kod — razina transparentnosti koja je rijetka čak i među modelima koji se deklariraju kao “open-source”. To omogućuje istraživačima i tvrtkama fine-tuning na vlastitim podacima bez zavisnosti o centralnom pružatelju usluge. Nacrt rada dostupan je na arXiv:2607.09424.
Česta pitanja
- Što znači 'suvereni AI model' i zašto je to važno za Europu?
- Suvereni AI model treniran je i hostiran isključivo na domaćoj ili regionalnoj infrastrukturi radi kontrole podataka i neovisnosti od stranih pružatelja usluga. Za Europu to znači da osjetljivi poslovni i vladini podaci ne napuštaju EU jurisdikciju ni tijekom treninga ni tijekom inferencije.
- Kako Soofi S stoji u usporedbi s modelima poput OLMo 3 32B?
- Soofi S nadmašuje OLMo 3 32B i Apertus 70B na agregiranim EN/DE benchmarcima te zauzima prvo mjesto na code benchmarku među 17 otvorenih baseline modela, i to u oba jezika istovremeno.
📬 AI vijesti u tvoj inbox
Dnevni digest po tvojoj mjeri — biraš teme, izvore i ritam. Odjava jednim klikom.
Povezane vijesti
PyTorch: 'besplatna normalizacija' fuzira Layer Norm u GEMM i attention kernele — Meta cilja niži trošak treniranja velikih modela
Ollama: 88 milijuna dolara financiranja za lokalni AI — 8,9 milijuna developera i Docker osnivač među investitorima
CNCF white paper: Pohrana podataka ostaje glavna prepreka cloud-native AI-ja u mjerilu