arXiv:2607.09424: Soofi S — Souveränes Open-Source-Modell für Deutsch und Englisch, trainiert auf Telekom-Cloud

Das Forschungsteam (Soofi-Team) hat auf arXiv eine Arbeit über Soofi S veröffentlicht — ein souveränes, vollständig offenes Sprachmodell für Deutsch und Englisch. Das Modell wurde ausschließlich auf der Cloud-Infrastruktur der Deutschen Telekom in München vortrainiert, im Rahmen der Initiative German Industrial AI Cloud, was es in die seltene Kategorie europäischer KI-Modelle mit verifizierter Datensouveränität einordnet.

Was ist souveräne KI und warum ist die Architektur hybrid?

Ein souveränes KI-Modell bezeichnet ein System, das ausschließlich auf heimischer oder regionaler Infrastruktur trainiert und gehostet wird, ohne Abhängigkeit von ausländischen Rechenressourcenanbietern — wodurch Organisationen die volle Kontrolle über ihre Daten und Prozesse behalten. Soofi S verwendet eine hybride Mamba-Transformer-Architektur in einer Mixture-of-Experts-(MoE-)Konfiguration: insgesamt 30 Milliarden Parameter, von denen in jedem Durchgang nur 3 Milliarden aktiv sind. Dieses Verhältnis — 10:1 zwischen Gesamt- und aktiven Parametern — ist typisch für MoE-Modelle und bedeutet, dass Soofi S Fähigkeiten vergleichbar mit Dense-Modellen von 14 bis 27 Milliarden Parametern bei deutlich niedrigeren Inferenzkosten erreicht.

Wie viele Daten und welche Ergebnisse?

Das Modell wurde auf rund 27 Billionen Token vortrainiert, mit bewusster Verstärkung des Anteils deutschsprachiger Daten — ungewöhnlich, da die meisten globalen Modelle Deutsch als Minderheitssprache behandeln. Bei aggregierten EN/DE-Benchmarks entspricht Soofi S Dense-Modellen von 14 bis 27B, und es belegt den ersten Platz im Code-Benchmark unter 17 offenen Baseline-Modellen — in beiden Sprachen gleichzeitig. Im Vergleich zu OLMo 3 32B und Apertus 70B — die als führende vollständig offene europäische Alternativen gelten — übertrifft Soofi S beide, trotz geringerer aktiver Parameterzahl.

Offenheit und Reproduzierbarkeit

Die Autoren veröffentlichen vollständig offene Gewichte, Checkpoints, Hyperparameter und Evaluierungscode — ein Maß an Transparenz, das selbst unter Modellen, die sich als „Open-Source” bezeichnen, selten ist. Dies ermöglicht Forschern und Unternehmen das Fine-Tuning auf eigenen Daten ohne Abhängigkeit von einem zentralen Dienstanbieter. Der Preprint ist unter arXiv:2607.09424 verfügbar.