arXiv:2607.09424：Soofi S——Deutsche Telekomのクラウドでトレーニングされた独英主権オープンソースモデル

研究チーム（Soofi-Team）は、Soofi Sに関する論文をarXivに発表しました。これはドイツ語と英語のための主権、完全オープンな言語モデルです。モデルはドイツ・ミュンヘンにあるDeutsche TelekomのクラウドインフラでGerman Industrial AI Cloudイニシアティブの一環としてプレトレーニングされており、検証されたデータ主権を持つ希少なヨーロッパのAIモデルの一つとなっています。

主権AIとは何か、なぜアーキテクチャはハイブリッドなのか？

主権AIモデルとは、外国のコンピューティングリソースプロバイダーへの依存なしに、完全に国内または地域のインフラでトレーニングおよびホストされるシステムを指します——これにより組織はデータとプロセスに対する完全な制御を保持します。Soofi Sは混合専門家（MoE）設定のハイブリッドMamba-Transformerアーキテクチャを使用しています：合計300億パラメータで、各フォワードパスで30億パラメータだけがアクティブです。この比率——総パラメータとアクティブパラメータの10:1——はMoEモデルの典型であり、Soofi Sがはるかに低い推論計算コストで140億〜270億の密集モデルに匹敵する能力を実現することを意味します。

データ量と結果

モデルは意図的にドイツ語データの割合を強化した約27兆トークンでプレトレーニングされています——ほとんどのグローバルモデルがドイツ語を少数言語として扱うため、これは珍しいことです。集計EN/DEベンチマークでSoofi Sは14〜27Bの密集モデルに相当し、両言語同時にテストされた17のオープンベースラインモデル中コードベンチマーク1位を獲得しています。OLMo 3 32BおよびApertus 70B——完全オープンなヨーロッパの代替として最有力とされている——と比較して、アクティブパラメータ数が少ないにもかかわらずSoofi Sは両方を上回っています。

オープン性と再現可能性

著者たちは完全にオープンなウェイト、チェックポイント、ハイパーパラメータ、評価コードを公開しています——「オープンソース」を称するモデルの中でもこの透明性レベルは稀です。これにより、研究者や企業は中央サービスプロバイダーへの依存なしに自分たちのデータでファインチューニングを行えます。論文草稿はarXiv:2607.09424で入手可能です。