什么是GRAM，它如何运作？

GRAM（梯度路由辅助模块）在Transformer架构每一层添加专用模块。当模型遇到两用内容时，通用参数被冻结——只有相关模块学习该内容。删除该模块可以有效移除相应能力，就好像模型从未在这些数据上训练过一样。

四个两用类别的单次训练能产生多少模型变体？

包含四个两用类别的单次训练可产生16种不同的模型配置——每种已启用和已禁用模块的组合都可以无需重新训练即可获得。

尚未。GRAM是初步研究，迄今未应用于任何Claude生产模型，也未在前沿规模上进行测试。

Anthropic与AE Studio发布GRAM（梯度路由辅助模块）——这一方法在训练期间将病毒学、网络安全、核物理等两用知识隔离到可移除的神经网络模块中，允许单次训练生成具有不同能力集合的多个模型变体。

任何足够强大的语言模型同时也是潜在的滥用工具：同样一段关于病原体的文字，既能帮助研究人员，也可能帮助研发生物武器的行为者。针对这一问题的标准方法——训练数据过滤或事后遗忘学习——从未完全满足安全研究人员的要求。

Anthropic与AE Studio合作发布了一篇研究论文，提出了一种根本不同的方法：不是在训练之后移除危险知识，而是在训练期间将其隔离到模型的特殊可移除组件中。

GRAM（梯度路由辅助模块）在Transformer架构的每一层添加一组神经网络模块——每个两用知识类别对应一个模块。核心创新在于学习方式：当模型遇到两用内容（例如，关于病毒合成的文字）时，模型的通用参数暂时被冻结。只有相关模块——例如「病毒学模块」——从该材料中更新其权重。

结果是清晰的分离：通用知识和推理能力完整保留在基础参数中，而两用知识则完全存在于专用模块内。删除模块移除相应能力的效果约等同于模型从未在这些数据上训练过——这也是研究论文的核心主张。

研究人员采用系统化方法进行了三个独立的验证阶段。

第一阶段使用合成数据——在儿童故事上训练小模型。目标是验证基本原理：梯度路径是否真的独立？模块删除是否有效？

第二阶段转向真实数据：网页文本、代码和科学论文，包含四个两用类别——病毒学、网络安全、核物理和专业编程语言。实验确认，在这四个类别中，模块删除都能有效移除能力，且不会降低通用任务的性能。

第三阶段通过从5000万到50亿参数的七种模型规模测试可扩展性。关键发现：GRAM的有效性随模型规模增加而提升——有模块版本和无模块版本之间的差距随着模型增大而扩大。

现有方法——数据过滤和遗忘学习——有一个共同缺陷：都容易受到知识恢复尝试的攻击。通过足够持续的微调或对抗性攻击，能力可以部分恢复。

GRAM对这些尝试具有更强的抵抗力，因为两用知识从未嵌入到模型中通过后续训练可能重新激活的部分。恢复将需要重新训练模块——这是一项需要访问原始数据和训练基础设施的昂贵操作。

从实践角度看，包含四个两用类别的单次训练可产生16种不同的模型配置（2⁴=16）。组织可以向不需要该能力的客户分发禁用病毒学模块的模型，而拥有适当许可的研究机构则获得启用模块的版本——所有这些都来自同一次训练，无需重新运行。

重要的是要明确GRAM目前还不是什么：Anthropic明确表示，该方法迄今未应用于任何Claude生产模型，也未在前沿规模（超过50亿参数）上进行测试。

研究人员还指出，衡量「两用知识」本身的概念并非简单问题——合法知识与危险知识之间的边界模糊且依赖情境。GRAM提供了隔离和删除的技术解决方案，但定义什么需要被隔离，这仍然是一个政策和认识论层面的挑战。

尽管如此，GRAM代表了一种概念性转变，从长远来看可能影响前沿模型的开发和分发方式——内置的知识访问控制比现有的事后方法具有更强的抵抗力。