arXiv:2607.09424：Soofi S——Deutsche Telekom 클라우드에서 훈련된 독일어·영어 주권 오픈소스 모델

연구팀（Soofi-Team）은 arXiv에 Soofi S에 관한 논문을 발표했습니다——이는 독일어와 영어를 위한 주권, 완전 공개 언어 모델입니다. 모델은 German Industrial AI Cloud 이니셔티브의 일환으로 뮌헨에 있는 Deutsche Telekom 클라우드 인프라에서만 사전 훈련되어, 검증된 데이터 주권을 가진 희귀한 유럽 AI 모델 범주에 속합니다.

주권 AI란 무엇이며 왜 아키텍처가 하이브리드인가?

주권 AI 모델은 외국 컴퓨팅 자원 제공업체에 의존하지 않고 완전히 국내 또는 지역 인프라에서 훈련되고 호스팅되는 시스템을 가리킵니다——이를 통해 조직은 데이터와 프로세스에 대한 완전한 통제를 유지합니다. Soofi S는 혼합 전문가（MoE） 구성의 하이브리드 Mamba-Transformer 아키텍처를 사용합니다: 총 300억 파라미터로, 각 순전파에서 30억 파라미터만이 활성 상태입니다. 이 비율——총 파라미터 대 활성 파라미터의 10:1——은 MoE 모델의 전형으로, Soofi S가 훨씬 낮은 추론 계산 비용으로 140억~270억 밀집 모델에 필적하는 능력을 달성함을 의미합니다.

데이터 양과 결과

모델은 독일어 언어 데이터 비율을 의도적으로 강화한 약 27조 토큰에서 사전 훈련되었습니다——대부분의 글로벌 모델이 독일어를 소수 언어로 취급하기 때문에 이는 드문 일입니다. 집계 EN/DE 벤치마크에서 Soofi S는 140억~270억 밀집 모델에 해당하며, 두 언어 모두에서 동시 테스트된 17개 오픈 기준 모델 중 코드 벤치마크에서 1위를 차지합니다. 완전 공개 유럽 대안의 선두로 여겨지는 OLMo 3 32B와 Apertus 70B와 비교하여, 활성 파라미터 수가 더 적음에도 불구하고 Soofi S는 두 모델 모두를 능가합니다.

개방성과 재현 가능성

저자들은 완전히 공개된 가중치, 체크포인트, 하이퍼파라미터, 평가 코드를 공개합니다——「오픈소스」를 표방하는 모델 중에서도 이 수준의 투명성은 드뭅니다. 이를 통해 연구자와 기업들은 중앙 서비스 제공업체에 의존하지 않고 자체 데이터로 파인튜닝을 수행할 수 있습니다. 논문 초안은 arXiv:2607.09424에서 확인 가능합니다.