AWS, Amazon Nova 모델에 선택적 언러닝 기술 rDPO 도입

모든 대규모 언어 모델은 안전하고 윤리적인 사용을 위해 필요한 행동 패턴을 내포하고 있습니다—하지만 때로는 바로 그 패턴들이 합법적인 비즈니스 사례를 차단하기도 합니다. 피싱 캠페인을 분석해야 하는 보안 분석가나 임상 데이터에 접근하는 의료 전문가는 바로 이 문제에 직면합니다. Amazon Web Services가 해결책을 발표했습니다: Amazon Nova 모델을 위한 선택적 언러닝 기술인 **Reverse Direct Preference Optimization(rDPO)**입니다.

기존 접근 방식이 충분하지 않은 이유는?

전체 모델의 표준 파인튜닝은 비용이 많이 들고 시간이 오래 걸리며 위험합니다: 모든 새로운 구성에는 완전한 재훈련이 필요하며, 잘못 준비된 데이터는 모델의 유용성을 영구적으로 손상시킬 수 있습니다. 기존의 머신 언러닝 시도는 주로 **Negative Preference Optimization(NPO)**에 기반했는데, 이는 원치 않는 행동을 억제하기만 할 뿐 모델을 적극적으로 고품질 대안으로 유도하지 않습니다. 결과는 불안정했습니다: 모델은 주제를 피하겠지만, 같은 영역에서 유용하게 유지된다는 보장이 없었습니다.

rDPO의 작동 방식

rDPO는 기본 DPO 목적을 뒤집습니다. 나쁜 것만 정의하고 억제하는 대신, 대상 도메인에서 고품질 응답으로 모델을 유도하는 동시에 원치 않는 패턴을 억제합니다—마치 새로운 경로를 열면서 동시에 오래된 경로를 닫는 것과 같습니다.

구현은 LoRA 어댑터(Low-Rank Adaptation)에 기반합니다: 경량 추가 모듈이 별도로 훈련되어 고정된 기본 모델에 적용됩니다. 완전한 재훈련이 없습니다. 맞춤화된 모델 변형은 Bedrock 내에서 고유한 Amazon Resource Name(ARN)으로 식별되며, 접근은 표준 Converse API 호출로 이루어집니다—즉, 기존 시스템에의 통합은 파라미터 하나를 교체하는 것으로 귀결됩니다. rDPO는 30단계에서 이미 훈련 정확도 100%에 근접합니다. 이는 동일한 신뢰성으로 수렴하지 않는 NPO에 비해 극적인 발전입니다.

RAI 기둥별 측정 결과

AWS는 네 가지 RAI(Responsible AI) 기둥을 통해 성공을 측정하며, 각각에 대해 원치 않는 거부율(deflection rate) 감소를 기록합니다. 각 기둥은 다른 기둥들과 독립적으로 선택적으로 활성화할 수 있는 별도의 LoRA 어댑터를 받습니다.

• Safety(위험한 활동, 무기, 규제 물질): **86.51%에서 32.77%**로 감소—53.74 퍼센트 포인트 감소
• Security(악성코드, 악의적 콘텐츠): **91.61%에서 45.73%**로 감소—45.88 pp 감소
• Sensitive Content(음란물, 노출, 충격적 콘텐츠): **79.02%에서 33.58%**로 감소—45.44 pp 감소
• Fairness(편향, 문화적 민감성): **51.84%에서 23.83%**로 감소—28.01 pp 감소

세분성이 이 설계의 핵심 장점입니다: 조직은 보안 팀의 위협 분석을 허용하는 Safety 어댑터만 활성화할 수 있으며, 그대로 유지되는 Sensitive Content 또는 Fairness 필터에는 아무런 영향을 미치지 않습니다.

유용성은 거의 변하지 않습니다

실용적 적용을 위한 핵심 논거는 어댑터 적용 후 표준 벤치마크 결과의 무시할 수 있는 하락입니다.

• Instruction Following: 94.12%에서 92.57%로—겨우 −1.55 pp 하락
• Math Mini: 86.40%에서 85.20%로—−1.20 pp 하락
• MBXP Python(코딩): 74.80%에서 73.00%로—−1.80 pp 하락

이 결과들은 rDPO가 대상 행동을 외과적으로 제거하는 반면, 모델의 나머지 부분은 기본 버전과 거의 동일하게 작동함을 확인합니다. 맞춤화와 유용성 사이의 트레이드오프는 매우 유리하게 유지됩니다.

비즈니스 환경에서의 활용

Amazon은 비즈니스 가치를 보여주는 네 가지 핵심 시나리오를 제시합니다.

사이버 보안: 직원 훈련을 위한 피싱 시뮬레이션을 생성하거나 실제 공격을 분석하는 팀은 위협 방법을 이해하는 모델이 필요합니다—그러나 기본 보안 필터는 바로 그런 쿼리를 위험한 것으로 취급하고 맥락 없이 거부합니다.

의학 및 임상 애플리케이션: 임상 콘텐츠—약물 용량, 증상 설명, 수술 절차—는 의학적 맥락에서 필수적이지만, 기본 보안 설정은 이를 민감한 자료로 취급하고 의사들이 매일 필요로 하는 응답을 차단합니다.

미디어 및 법률 분야: 뉴스 아카이브, 법의학 자료, 법적 문서는 정기적으로 표준 모델이 거부할 콘텐츠를 포함하고 있지만, 전문적 맥락은 기본 필터를 활성화하는 형태와 관계없이 바로 그런 분석을 요구합니다.

규제 준수: 자체 AI 시스템을 감사해야 하는 기업은 내부 정책이 변경될 때마다 완전한 재훈련 없이 정밀하게 정의된 행동 범위를 갖는 감사 변형을 만들 수 있습니다.

rDPO가 엔터프라이즈 맞춤화의 모든 과제에 대한 보편적인 해결책은 아닙니다. 하지만 완전한 재훈련의 비용과 위험 없이 특정 행동 도메인에 대한 정밀한 제어가 필요한 조직에게, Amazon Bedrock을 통해 즉시 사용 가능한 구체적이고 측정된 옵션을 제공합니다.