AWS引入rDPO——为Amazon Nova模型提供选择性遗忘功能

每个大型语言模型都内嵌了安全、合乎伦理使用所必需的行为模式——但有时这些模式会阻碍合法的商业用例。安全分析师需要研究网络钓鱼活动，或医疗专业人员需要访问临床数据，都会定期面临这一问题。Amazon Web Services发布了解决方案：反向直接偏好优化（rDPO），一种专为Amazon Nova模型设计的选择性遗忘技术。

为什么传统方法还不够？

对整个模型进行标准微调成本高、耗时长且风险大：每种新配置都需要完全重新训练，而准备不当的数据可能永久损害模型的实用性。以往的机器遗忘（machine unlearning）尝试大多基于负偏好优化（NPO）——这种方法仅抑制不良行为，而不主动引导模型走向优质替代方案。结果不可靠：模型会回避话题，但无法保证在同一领域保持有用。

rDPO如何工作

rDPO颠倒了基础DPO目标。它不仅仅定义什么是错误并加以抑制，而是同时将模型引向目标领域的高质量响应，并抑制不良模式——就像同时开辟新路并封闭旧路一样。

实现基于LoRA适配器（低秩适应）：轻量级附加组件单独训练并应用于冻结的基础模型。无需完全重新训练。定制的模型变体在Bedrock内通过唯一的Amazon Resource Names（ARN）标识，并通过标准Converse API调用访问——这意味着集成到现有系统只需更换一个参数。rDPO在第30步时训练准确率即接近100%，相较于NPO无法以同等可靠性收敛，这是显著进步。

按责任AI支柱衡量的结果

AWS通过四个RAI（责任AI）支柱衡量成效，并记录每个支柱不必要拒绝率（deflection rate）的下降。每个支柱获得一个独立的LoRA适配器，可独立于其他适配器选择性激活：

• 安全（危险活动、武器、管制物质）：从86.51%降至32.77%——降低53.74个百分点
• 安保（恶意软件、有害内容）：从91.61%降至45.73%——降低45.88 pp
• 敏感内容（粗俗语言、裸露、令人不安的内容）：从79.02%降至33.58%——降低45.44 pp
• 公平性（偏见、文化敏感性）：从51.84%降至23.83%——降低28.01 pp

粒度是这种设计的关键优势：组织可以仅激活安全适配器，允许安全团队进行威胁分析，而不影响保持完整的敏感内容或公平性过滤器。

模型实用性几乎不变

实际应用的关键论据是应用适配器后标准基准测试结果的微小下降：

• 指令遵循：从94.12%降至92.57%——仅下降**−1.55 pp**
• 数学Mini：从86.40%降至85.20%——下降**−1.20 pp**
• MBXP Python（编码）：从74.80%降至73.00%——下降**−1.80 pp**

这些结果证实了rDPO以手术刀式精确度移除了目标行为，而模型的其余部分几乎与基础版本相同运作。适配与实用性之间的权衡依然极为有利。

商业环境中的应用

Amazon识别了四个说明商业价值的关键场景：

网络安全：为员工培训生成网络钓鱼模拟或分析真实攻击的团队需要理解威胁方法的模型——但默认安全过滤器将此类查询视为危险并在没有上下文的情况下拒绝。

医疗和临床应用：临床内容——药物剂量、症状描述、外科程序——在医疗环境中是必要的，但默认安全设置将其视为敏感材料，并屏蔽医生日常工作所需的响应。

媒体和法律行业：新闻档案、法证材料和法律文书通常包含标准模型会拒绝分析的内容，而专业背景恰恰需要这种分析，无论触发默认过滤器的形式如何。

监管合规：需要监控自身AI系统的企业可以创建具有精确定义行为范围的审计变体——无需为每次内部政策变更进行完全重新训练。

rDPO并非所有企业定制挑战的通用解决方案，但对于需要在特定行为领域进行精确控制而不承担完全重新训练的成本和风险的组织，它通过Amazon Bedrock立即提供了一个具体且经过测量的选项。