Anthropic, 위험 지식의 「오프 스위치」 개발: GRAM, 이중 사용 능력을 제거 가능한 모듈에 격리

위험 지식 제어를 위한 새로운 접근 방식

충분히 강력한 언어 모델은 모두 잠재적인 악용 도구가 될 수 있습니다. 연구자를 돕는 병원체 관련 텍스트가 동시에 생물 무기를 개발하는 행위자를 도울 수도 있습니다. 이 문제에 대한 표준적인 접근 방식, 즉 학습 데이터 필터링이나 사후 언러닝(unlearning)은 보안 연구자들의 요구를 완전히 충족시킨 적이 없었습니다.

Anthropic이 AE Studio와 공동으로 근본적으로 다른 접근 방식을 제안하는 연구 논문을 발표했습니다. 위험 지식을 학습 이후에 제거하는 대신, 학습 중에 특별하고 제거 가능한 모델 구성 요소에 격리합니다.

GRAM이란 무엇이며 어떻게 작동하나요?

GRAM(Gradient-Routed Auxiliary Modules)은 Transformer 아키텍처의 각 레이어에 신경망 모듈 세트를 추가합니다. 각 이중 사용 지식 카테고리마다 하나의 모듈이 있습니다. 핵심 혁신은 학습 방식에 있습니다. 모델이 이중 사용 콘텐츠(예: 바이러스 합성에 관한 텍스트)를 만나면, 모델의 일반 파라미터가 일시적으로 동결됩니다. 관련 모듈, 예를 들어 「바이러스학 모듈」만이 해당 자료에서 가중치를 업데이트합니다.

결과는 명확한 분리입니다. 일반 지식과 추론 능력은 기본 파라미터에 온전히 남아 있는 반면, 이중 사용 지식은 전용 모듈 안에만 존재합니다. 모듈을 삭제하면 해당 능력이, 모델이 해당 데이터로 학습한 적이 없는 것과 거의 동등하게 제거됩니다. 이것이 연구 논문의 핵심 주장입니다.

실험 검증의 세 단계

연구자들은 체계적인 접근 방식으로 세 가지 개별 검증 단계를 수행했습니다.

첫 번째 단계는 합성 데이터를 사용했습니다. 동화 기반의 소형 모델이 대상이었으며, 기본 원리를 증명하는 것이 목표였습니다. 실제로 분리된 기울기 경로가 존재하는지, 모듈 삭제가 작동하는지를 확인했습니다.

두 번째 단계는 현실적인 데이터로 이동했습니다. 웹 텍스트, 코드, 과학 논문을 사용했으며, 네 가지 이중 사용 카테고리, 즉 바이러스학, 사이버보안, 핵물리학, 특수 프로그래밍 언어를 포함했습니다. 실험은 모듈 삭제가 일반 과제에서의 저하 없이 각 카테고리에서 효과적으로 능력을 제거함을 확인했습니다.

세 번째 단계는 5천만에서 50억 파라미터에 이르는 일곱 가지 모델 크기를 통해 확장성을 테스트했습니다. 핵심 발견: GRAM의 효과는 모델 크기가 커질수록 증가합니다. 모듈이 있는 버전과 없는 버전 사이의 격차가 모델이 커질수록 더 커집니다.

AI 안전에 왜 중요한가?

기존 방법들, 즉 데이터 필터링과 언러닝은 공통적인 단점이 있습니다. 모두 지식 복구 시도에 취약합니다. 충분히 집요한 파인튜닝이나 적대적 공격으로 능력이 부분적으로 복원될 수 있습니다.

GRAM은 이러한 시도에 더 강건합니다. 이중 사용 지식이 후속 학습으로 재활성화될 수 있는 모델 부분에 내장되지 않기 때문입니다. 복구에는 모듈을 다시 학습해야 하며, 원본 데이터와 학습 인프라에 대한 접근이 필요한 비용이 많이 드는 작업입니다.

실용적으로 보면, 네 가지 이중 사용 카테고리로의 단 한 번의 학습 실행은 16가지 다른 모델 구성(2⁴ = 16)을 제공합니다. 조직은 바이러스학 모듈이 비활성화된 모델을 해당 기능이 필요 없는 고객에게 배포하고, 적절한 허가를 가진 연구 기관에는 모듈이 활성화된 버전을 제공할 수 있습니다. 이 모든 것이 재학습 없이 동일한 학습 과정에서 이루어집니다.

한계와 연구 현황

GRAM이 아직 무엇이 아닌지를 강조하는 것이 중요합니다. Anthropic은 이 방법이 현재까지 어떤 프로덕션 Claude 모델에도 적용되지 않았으며, 프론티어 규모(50억 파라미터 이상)에서는 테스트되지 않았다고 명시합니다.

연구자들은 「이중 사용 지식」이라는 개념 자체를 측정하는 것이 사소하지 않은 문제임을 지적합니다. 합법적 지식과 위험 지식의 경계는 불분명하고 맥락에 따라 다릅니다. GRAM은 격리와 삭제를 위한 기술적 해결책을 제공하지만, 무엇을 격리해야 하는지를 정의하는 것은 여전히 정책적, 인식론적 도전으로 남아 있습니다.

그럼에도 GRAM은 장기적으로 프론티어 모델이 개발되고 배포되는 방식에 영향을 미칠 수 있는 개념적 전환을 나타냅니다. 지식 접근에 대한 내장된 통제 기능을 갖추고, 기존의 사후 접근 방식보다 더 강건한 형태로 말입니다.