DT-Guard: 추론 감독과 추론 속도를 분리해 8B 가드레일을 능가하는 4B 파라미터 모델

언어 모델을 위한 보안 가드레일은 지속적인 아키텍처 딜레마에 직면해 있다. 안전 결정에 대해 명시적으로 추론하는 시스템은 견고하지만 느리고, 빠른 분류기는 효율적이지만 신중하게 구성된 공격에 취약하다. 프로덕션 환경에서 이 절충은 적용을 제한한다. 처리량을 희생하거나 견고성을 희생해야 한다. 15명의 저자로 구성된 연구팀이 개발한 DT-Guard는 두 가지 중 하나를 택하지 않아도 되는 솔루션을 제시한다.

기존 보안 가드레일의 근본적인 문제

기존 접근 방식은 명확한 절충을 가진 두 가지 범주로 나뉜다. CoT 기반 가드레일은 특정 프롬프트나 응답이 왜 유해하거나 안전한지에 대한 명시적 추론을 생성한다. 높은 견고성과 우회 저항성을 가지지만, chain-of-thought 텍스트 생성 지연 시간은 고처리량 프로덕션 환경에서는 허용되지 않는다.

직접 분류기는 이 비용이 없다. 중간 단계 없이 이진 또는 범주형 레이블을 생성하여 훨씬 빠르다. 동시에, 안전 추론의 컨텍스트를 내면화하지 않아 학습된 패턴을 우회하기 위해 신중하게 공식화를 변형한 프롬프트에 취약하다. 두 접근 방식 모두 동일한 근본적인 문제를 공유한다. 명시적 추론과 낮은 지연 시간은 단일 아키텍처 내에서 상호 배타적이다.

왜 훈련에서는 추론 감독을 사용하고 추론 시에는 사용하지 않는가?

DT-Guard는 이 두 가지 요구 사항을 실행 단계별로 분리한다. 훈련은 chain-of-thought 감독을 사용한다. 모델에 안전 평가에 대한 상세한 추론 궤적이 제시되며, 모델이 입력을 레이블에 매핑하는 방법을 배우는 것이 아니라 안전 사고의 패턴을 내면화하도록 하기 위함이다. 그런 다음 추론은 명시적 CoT 텍스트를 생성하지 않고 구조화된 안전 레이블만 출력한다.

이는 개념적으로 지식 증류와 유사한 접근 방식으로, 파라미터 분포 대신 추론 과정에 적용된다. 모델은 훈련을 통해 안전에 대해 생각하는 방법을 학습하고, 학습된 지식을 가시적인 중간 단계 없이 분류에 직접 적용한다. 결과는 CoT 접근 방식의 견고성과 직접 분류기의 지연 시간을 갖춘 가드레일이다. 이 두 가지 차원 사이에서 선택하지 않아도 되는 최초의 솔루션이다.

점진적 의사결정 경로와 RG-PHO 최적화

DT-Guard의 안전 평가는 단일 단계의 플랫 분류가 아니라 세 가지 수준의 구조화된 순서이다. Intent → Category → Safety. 모델은 먼저 쿼리 또는 생성된 응답 뒤의 의도를 평가하고, 다음으로 위험 유형을 분류한 후, 최종적으로 안전 결정을 내린다. 각 수준이 다음 수준을 정밀화하는 컨텍스트를 제공하여 이진 안전 레이블로 직접 건너뛰는 접근 방식보다 우수하다.

훈련을 위한 어려운 샘플 식별에는 **RG-PHO(Rollout-Guided Progressive Hard-Case Optimization)**가 사용된다. 시스템은 동일한 쿼리에 대해 여러 롤아웃을 생성하고, 롤아웃 간 불일치 — 서로 다른 롤아웃이 다른 레이블을 생성하는 경우 — 를 모델이 확신하지 못하는 샘플을 식별하는 신호로 활용한다. 이 샘플들은 훈련에서 강화된 집중을 받아 안전 시스템에서 전형적으로 가장 어려운 엣지 케이스와 모호한 사례에 대한 견고성을 체계적으로 향상시킨다.

40억 파라미터 모델의 결과

DT-Guard는 안전 평가의 두 방향 모두 — 사용자 프롬프트 평가와 모델 응답 평가 — 를 테스트하는 벤치마크에서 평가되었다. 4B 파라미터 모델만으로 얻은 결과:

• 프롬프트 측 F1: 0.886 — 유해 프롬프트 탐지 정확도
• 응답 측 F1: 0.870 — 유해 응답 탐지 정확도
• 양방향 평균 F1: 0.878

특히 주목할 만한 점은 이 결과가 4B 파라미터 모델로 달성된다는 것으로, 안전에 맞춰진 8B 베이스라인 모델을 능가한다. 이 비율은 훈련에서 추론 감독을 내면화하는 것이 파라미터 용량 부족을 보완한다는 것을 시사한다. 즉, 안전 추론에 대한 지식이 표준 훈련에서 모델 크기와 함께 증가하는 것보다 파라미터에 더 효율적으로 압축된다.

프로덕션에서 이는 구체적인 의미를 가진다. 지연 시간이 낮고 컴퓨팅 요구 사항이 적은 가드레일 시스템은 파이프라인에 더 공격적으로 배치될 수 있다. 예를 들어, 처리량에 눈에 띄는 영향 없이 모든 API 호출에 적용할 수 있다. 더 크고 느린 가드레일은 비용 때문에 선택적으로 사용되는 경우가 많아 시스템의 일부가 보호되지 않는 상태로 남게 된다. DT-Guard는 이 비용을 완전한 커버리지가 경제적으로도 정당화되는 수준으로 낮춘다. 낮은 지연 시간, 높은 정확도, 작은 모델의 조합은 DT-Guard를 세 가지 프로덕션 요구 사항을 모두 타협 없이 충족하는 최초의 가드레일로 만든다.