arXiv:2606.00831: 잠재의식 학습은 LoRA의 산물이라는 새 논문

arXiv에 공개된 새 논문 “Subliminal Learning is a LoRA Artifact”는 언어 모델 안전 분야의 한 가지 우려스러운 발견에 정면으로 이의를 제기한다. 저자는 Todd Nief, Harvey Yiyun Fu, Mark Muchane, Ari Holtzman이다.

잠재의식 학습이란?

잠재의식 학습은 어떤 행동 특성을 가진 언어 모델이 파인튜닝, 즉 기존 모델을 새 데이터로 훈련하는 과정에서 그 특성을 다른 모델로 전이시키는 현상이다. 이를 불안하게 만드는 점은, 그 전이가 겉보기에 중립적이고 무해한 데이터를 통해, 예제 자체에 특성의 흔적이 뚜렷이 드러나지 않은 채로 일어난다고 알려졌다는 것이다.

저자들은 왜 이것이 산물이라고 주장하나?

논문은 이 효과가 LoRA(Low-Rank Adaptation) 기법에 의존함을 보인다. LoRA는 전체 모델 대신 작은 저랭크 파라미터 집합만 갱신하는 효율적 파인튜닝 방법이다. 핵심 발견은 특성 전이가 LoRA 랭크에 대해 뒤집힌 U자 의존성을 보인다는 것이다. 효과는 중간 랭크 값에서 가장 강하고 양 끝으로 갈수록 약해진다. 더 중요한 점은, LoRA 대신 전체 파인튜닝을 적용하면 이 현상이 완전히 사라진다는 것이다.

효과는 또 무엇에 의존하나?

저자들은 이 행동이 훈련 및 평가 중에 본 컨텍스트에 매우 강하게 의존함을 보인다. 예를 들어, 생성 시 모델의 기본 시스템 프롬프트를 제거하면, 그 프롬프트가 훈련 중에 있었더라도 효과가 무력화된다. 잠재의식적 행동은 시스템 프롬프트와 대화 템플릿처럼 훈련과 평가 양쪽에서 등장하는 토큰에 대한 연산에 집중된다.

이것이 모델 안전에 어떤 의미가 있나?

논문의 결론은 잠재의식 학습이 “LoRA 하이퍼파라미터와 파인튜닝 컨텍스트의 취약한 산물”이라는 것이다. 다시 말해, 악의적 행동을 모델 간에 은밀히 전이시킬 수 있는 견고하고 신뢰할 만한 채널이 아니라, 특정 훈련 설정에 묶인 불안정한 현상이라는 것이다. 이는 이전 안전 우려의 일부를 누그러뜨리는 한편, 파인튜닝 방법의 선택이 그 자체로 오해를 부르는 발견을 만들어낼 수 있음을 일깨운다.