arXiv:2607.09424：Soofi S——在德国电信云上训练的德英主权开源模型
Soofi S是一个30B MoE混合Mamba-Transformer模型，拥有3B活跃参数，在约27万亿token上预训练，包括强化的德语数据。完全在Deutsche Telekom的云基础设施上训练，超越所有欧洲主权替代方案，在17个开放模型中的代码基准上排名第一。
本文由人工智能基于一手来源生成。
研究团队（Soofi-Team）在arXiv上发表了关于Soofi S的论文——这是一个面向德语和英语的主权、完全开放的语言模型。该模型在慕尼黑的Deutsche Telekom云基础设施上预训练，作为German Industrial AI Cloud计划的一部分，使其跻身拥有经过验证的数据主权的罕见欧洲AI模型之列。
什么是主权AI，为什么是混合架构？
主权AI模型是指完全在本地或区域基础设施上训练和托管的系统，不依赖外国计算资源提供商——使组织对数据和流程保持完全控制。Soofi S采用混合Mamba-Transformer架构，配置为混合专家（MoE）：总共300亿参数，每次前向传播仅有30亿参数处于活跃状态。该比率——总参数与活跃参数之间的10:1——是MoE模型的典型特征，意味着Soofi S在推理计算成本大幅降低的情况下，能实现与140亿至270亿稠密模型相当的能力。
数据量和结果
模型在约27万亿token上预训练，刻意增加了德语语料的比例——这并不常见，因为大多数全球模型将德语视为少数语言。在英德综合基准上，Soofi S相当于140亿至270亿稠密模型，并且在17个同时测试两种语言的开放基准模型中代码基准排名第一。与OLMo 3 32B和Apertus 70B相比——被视为领先的完全开放欧洲替代方案——Soofi S尽管活跃参数数量更少，却超越了两者。
开放性和可复制性
作者发布了完全开放的权重、检查点、超参数和评估代码——即使在声称「开源」的模型中，这种透明度也是罕见的。这使研究人员和企业能够在自己的数据上进行微调，而不依赖中央服务提供商。论文草稿可在arXiv:2607.09424上获取。
常见问题
- 「主权AI模型」意味着什么，为什么对欧洲重要？
- 主权AI模型完全在本地或区域基础设施上训练和托管，以实现对数据的控制并独立于外国服务提供商。对欧洲而言，这意味着敏感的商业和政府数据在训练和推理期间都不会离开欧盟管辖范围。
- Soofi S与OLMo 3 32B等模型相比如何？
- Soofi S在EN/DE综合基准上超越OLMo 3 32B和Apertus 70B，在17个开放基准模型中的代码基准上同时以两种语言排名第一。
📬 AI 新闻直达您的邮箱
按您的方式定制每日摘要——自选主题、来源和频率，一键退订。