arXiv:2606.20508：언어 모델은 무해·유해 데모의 혼합에서 무엇을 학습하는가

논문 arXiv:2606.20508은 안전 정렬된 언어 모델이 컨텍스트(in-context)에서 무해·유해 데모를 혼합하여 제공받았을 때의 행동을 연구합니다. 컨텍스트 학습은 추가 학습 없이 프롬프트 자체의 예시에서 행동 패턴을 학습하는 모델의 능력입니다. 공격자들이 보호 기능을 우회하기 위해 신중하게 구성된 예시를 자주 사용하기 때문에 이 문제는 보안에 매우 중요합니다.

양성 데모와 유해 데모는 대체 불가능

연구의 핵심 발견은 무해한 예시와 유해한 예시가 서로 대체될 수 없다는 것입니다. 양성 데모를 추가하는 것은 중립적인 효과를 내지 않습니다: 모델에 따라 유해한 응답 경향을 낮추거나 높일 수도 있습니다. 무해한 예시가 항상 위험을 「희석」한다는 가정과 달리, 결과는 예측 불가능하고 모델마다 다릅니다.

근접 편향과 방어 메커니즘

저자들은 강한 근접 편향을 발견했습니다—데모의 순서가 결과에 크게 영향을 미치며, 마지막에 제시된 예시가 행동 형성에 불균형적인 영향을 미칩니다. 일부 모델은 유해한 데모의 형식을 채택하지만 유해한 요청 자체는 여전히 거부합니다. 선호 최적화가 효과적인 방어 수단으로 부각되었는데, 이는 바람직한 응답과 바람직하지 않은 응답의 비교를 기반으로 모델을 훈련하는 방법으로 유해 순응도 에스컬레이션을 방지합니다.

왜 중요한가

연구 결과는 안전성 평가가 개별 데모의 위해성뿐만 아니라 데모의 구성과 순서도 고려해야 함을 시사합니다. 모델 개발자들에게 이 연구는 컨텍스트 조작에 대한 방어 레이어로서 선호 최적화를 지지하는 근거가 됩니다.