DT-Guard：40亿参数模型通过分离推理监督与推理速度，超越80亿参数安全护栏

语言模型的安全护栏面临持久的架构困境：显式推理安全决策的系统鲁棒但缓慢，而快速分类器高效但面对精心构造的攻击时脆弱。在生产环境中，这种取舍限制了应用——要么牺牲吞吐量，要么牺牲鲁棒性。DT-Guard由15位作者的研究团队开发，提供了一种不需要在这两个选项之间妥协的解决方案。

现有安全护栏的根本问题

现有方法分为两类，各有明显的取舍。基于CoT的护栏会生成关于特定提示或响应为何有害或无害的显式推理——鲁棒性高且抗绕过能力强，但生成思维链文本的延迟在高吞吐量生产环境中是不可接受的。

直接分类器没有这种开销：它们产生二元或类别标签而没有中间步骤，因此速度快得多。同时，它们不会内化安全推理的上下文，这使它们容易受到通过精心变化措辞来绕过已学习模式的提示攻击。两种方法都有同样的根本问题：显式推理和低延迟在单一架构中相互排斥。

为什么在训练中使用推理监督，而在推理时不用？

DT-Guard将这两种要求按执行阶段分离。训练使用思维链监督：模型被展示关于安全评估的详细推理轨迹——目的是让模型内化安全思维的模式，而不仅仅是学习从输入映射到标签。推理时则仅输出结构化安全标签，不生成显式CoT文本。

这在概念上类似于知识蒸馏，但应用于推理过程而非参数分布。模型通过训练学习如何思考安全，并在分类时直接应用所学知识，没有可见的中间步骤。结果是一个兼具CoT方法鲁棒性和直接分类器延迟的护栏——使其成为第一个不在这两个维度之间取舍的解决方案。

递进决策路径与RG-PHO优化

DT-Guard中的安全评估不是单步扁平分类，而是三个层次的结构化序列：意图→类别→安全。模型首先评估查询或生成响应背后的意图，然后对风险类型进行分类，最后做出安全决策。每个层次都为下一层提供精化语境，超越了直接跳到二元安全标签的方法。

**RG-PHO（Rollout-Guided Progressive Hard-Case Optimization）**用于识别训练的困难样本。系统为同一查询生成多个rollout，并利用rollout之间的不一致性——不同rollout给出不同标签的情况——作为模型不确定样本的信号。这些样本在训练中获得增强关注，系统性地提升了对通常是安全系统最具挑战性的边缘和模糊案例的鲁棒性。

40亿参数模型的结果

DT-Guard在测试安全评估两个方向的基准上进行评估——对用户提示的评估和对模型响应的评估。仅使用40亿参数的模型取得以下结果：

• 提示侧F1：0.886 — 有害提示检测精度
• 响应侧F1：0.870 — 有害响应检测精度
• 双侧平均F1：0.878

特别值得注意的是，这些结果由40亿参数模型实现，超越了专门为安全微调的80亿参数基准模型。这一比例表明，训练中推理监督的内化弥补了参数容量的劣势——安全推理知识比标准训练规模增长更高效地压缩到参数中。

对于生产环境，这有具体的影响。延迟更低、计算需求更小的护栏系统可以在流水线中更积极地部署——例如对每个API调用都启用，而不会对吞吐量产生明显影响。较大、较慢的护栏由于成本原因往往只被选择性使用，使系统的某些部分缺乏保护。DT-Guard将成本降低到全面覆盖在经济上也合理的水平。低延迟、高准确率和较小模型规模的组合使其成为第一个同时满足所有三项生产要求而无需妥协的护栏。