arXiv:2604.21571 'Separable Expert'：无需重新训练即可实现GDPR被遗忘权的LLM个性化架构

Chris Schneider、Philipp Schoenegger和Ben Bariach于2026年4月23日在ArXiv上发表了完整标题为**《Separable Expert Architecture: Toward Privacy-Preserving LLM Personalization via Composable Adapters and Deletable User Proxies》**（arXiv:2604.21571）的论文。该研究解决了个性化LLM工业部署中最困难的问题之一：如何在不承担灾难性重新训练成本的情况下遵守用户的被遗忘权。

为什么GDPR对个性化LLM是个问题？

GDPR第17条——删除权（被遗忘权）赋予每位欧盟居民要求从运营商系统中完全删除其个人数据的权利。对于传统SQL数据库，这是微不足道的：DELETE FROM users WHERE id = X。但对于使用用户数据进行个性化的LLM——例如记住您写作风格、偏好和过去对话的助手——数据分散在与其他用户共享的数十亿参数中。作者如此描述这一问题：“当前模型训练方法将用户信息直接融入共享权重中，使得在不重新训练的情况下删除个人数据在计算上不可行”。换言之，“正确”删除的唯一方式是重新训练整个模型——对于GPT级别的模型，这意味着数百万美元的成本。

Separable Expert架构如何工作？

提出的方法是三层解耦：

1. 静态基础模型 — 例如未经修改的Phi-3.5-mini或Llama-3.1-8B，由所有用户共享
2. 可组合领域专家LoRA适配器 — 低秩适配器，塑造行为（医疗领域、法律领域、代码）而不嵌入用户数据。**LoRA（低秩适应）**是一种微调技术，通过小型额外矩阵修改模型行为，而不更改完整模型。
3. 每用户代理构件 — 特定于单个用户的小型隔离文件，其删除”构成确定性遗忘”——在数学上等同于完全消除用户影响。

实验结果显示什么？

作者在Phi-3.5-mini和Llama-3.1-8B模型上评估了该架构。关键指标：删除代理后，KL散度（两个分布之间差异的度量，以nats表示）约为0.21 nats——确认了”恢复基线”行为。验证通过率为82-89%，用户间交叉污染”接近零”。换言之，一个用户的数据不会泄漏到其他用户的输出中——这对多租户SaaS部署至关重要。

超越GDPR的安全影响

除删除权外，该架构通过构建方式缓解了三种经典LLM攻击：

• 模型反转 — 尝试从模型权重重建训练数据
• 成员推断 — 确定某条记录是否在训练集中
• 训练数据提取 — 从模型响应中直接提取逐字数据

此外，该架构与**DP-SGD（差分隐私随机梯度下降）**兼容，可在提供正式隐私保证的情况下改进共享组件。

对EU AI Act合规意味着什么？

EU AI Act在2026年全面实施阶段，为高风险系统设定了非常高的标准——包括用户对个人数据控制的强制机制。没有Separable Expert等技术解决方案，在欧盟提供个性化LLM服务的公司面临严重的监管风险。这篇论文提供了无需经济上毁灭性重新训练的合规生产路径——可能成为下一代企业AI产品的参考架构。