Google: AI 모델의 데이터 삭제 감사를 위한 새로운 통계 프레임워크

Google Research의 연구원 Mónica Ribero가 2026년 6월 10일, 머신 러닝에서의 데이터 삭제(machine unlearning) 감사를 위한 새로운 통계 프레임워크를 발표했습니다. 이는 학습 데이터의 일부였던 특정 데이터를 AI 모델이 「잊어버리게」 하는 기술 메커니즘입니다. 이 연구는 AISTATS 2026 컨퍼런스 발표용으로 채택되었습니다.

AI 시스템에서 데이터 삭제가 문제인 이유?

어떤 기업이 추천 모델 학습에 사용자 개인 데이터를 활용했는데, 사용자가 이후 **GDPR의 잊힐 권리(Right to be Forgotten)**에 근거하여 모든 데이터 삭제를 요청한다고 상상해보세요. 해당 데이터 없이 모델을 처음부터 완전히 재학습하는 것은 연산 비용이 매우 높고 실제로는 거의 실행 불가능합니다. 그래서 이미 학습된 모델이 대상 데이터를 「잊도록」 수정하는 머신 언러닝 알고리즘이 개발되고 있습니다.

하지만 삭제가 실제로 성공했는지 어떻게 확인할까요? 바로 여기서 이 연구가 해결하는 규제적·기술적 문제가 발생합니다.

기존 방법의 근본적 결함

기존의 삭제 감사 표준 방법은 **2표본 테스트(two-sample tests)**를 사용했습니다. 삭제된 모델의 분포를 기본 모델과 비교하여 통계적 차이를 측정하는 방식입니다. 문제는 근본적입니다. 모델은 파라미터 조정만으로는 데이터를 완벽하게 삭제할 수 없습니다. 차이는 항상 존재하며, 이로 인해 표준 테스트는 올바르게 학습된 안전한 모델을 부적합으로 잘못 표시합니다.

Ribero는 이 취약점을 발견하고 구조적으로 이를 우회하는 프레임워크를 설계했습니다.

Regularized f-Divergence Kernel Tests: 분포를 위한 다중 센서

핵심 혁신은 **「Regularized f-Divergence Kernel Tests」**라고 불립니다. 하나의 측정 기기에 각기 다른 유형의 편차를 감지하는 여러 센서가 있는 것처럼, 여러 가지 **발산 측도(divergence measures)**를 동시에 사용하는 적응형 프레임워크입니다.

• 카이제곱 발산(chi-squared divergence) — 분포의 부드럽고 국소적인 차이를 강조
• 쿨백-라이블러(KL) 발산 — 확률 분포의 전역적 편차를 위한 표준 측도
• 하키스틱 발산(Hockey-stick divergence) — 프라이버시 및 삭제 정의를 위해 특별히 설계되었으며, 공식 프라이버시 보장에 대응하는 제어된 임계값을 가짐

핵심 장점: 프레임워크가 각 시나리오에 대해 최적의 발산과 하이퍼파라미터를 자동으로 선택하여, 기존에 오류와 재현 불가능성의 원인이었던 수동 조정이 필요 없습니다.

세 모델 간 상대 거리 테스트

가장 중요한 방법론적 혁신은 **3표본 상대 거리 테스트(three-sample relative distance test)**입니다. 「삭제된 모델이 기본 모델과 다른가?」라는 이진 질문 대신, 이 테스트는 삼중 질문을 제시합니다.

삭제된 모델의 분포가 안전하게 재학습된 버전에 더 가까운가, 아니면 손상된 원본 버전에 더 가까운가?

이러한 관점의 전환은 위양성을 제거합니다. 삭제된 모델과 재학습된 모델 사이의 차이는 항상 존재하지만, 그 차이가 반드시 삭제가 실패했음을 의미하지는 않습니다. 모델이 완전히 새로 학습된 것과 동일하지 않다는 의미일 뿐입니다. 관련 신호는 어느 모델이 분포적으로 더 가까운가입니다.

프레임워크의 실험 결과

단순화된 삭제 알고리즘의 평가는 명확하고 다소 우려스러운 결과를 보여줍니다.

• 랜덤 레이블(random label) — 평가 통과; 3표본 테스트가 이 변형을 안전한 것으로 정확히 식별
• 파인튜닝(finetuning) — 비효과적; 대상 데이터가 여전히 존재
• 프루닝(pruning) — 비효과적; 네트워크가 요청된 정보를 보유
• Selective Synaptic Dampening — 비효과적; 시냅스 연결 약화 방식으로는 진정한 삭제에 불충분

또한, 표준 2표본 테스트는 안전하게 재학습된 모델을 부적합으로 잘못 표시했으며, 이는 원하는 결과와 정반대입니다. 반면 새 프레임워크는 이를 정확히 식별합니다.

하키스틱 발산이 DP-Auditorium을 능가

차등 프라이버시 감사(differential privacy auditing) 영역 — 삭제 주제와 밀접하게 관련된 — 에서 프레임워크의 하키스틱 발산 변형이 참조 도구인 DP-Auditorium을 능가합니다.

• DP-Auditorium 방식에 필요한 수백만 개가 아닌 수천 개의 샘플만으로 희소 벡터 기법(sparse vector technique)에서 프라이버시 침해를 감지
• 대형 모델 감사에 필요한 연산 자원을 크게 절감

규제 기관과 감사인에 대한 실질적 함의

이 프레임워크는 AI 법률 적용에서 가장 구체적인 규제 과제 중 하나를 해결합니다. 수학적 삭제 증명으로, 감사인이 모델의 내부 파라미터나 원본 학습 데이터에 접근하지 않고도 규제 기관에 제출할 수 있습니다.

GDPR 준수 측면에서 이는 특히 중요합니다. 지금까지 조직은 삭제가 완료되었다고 주장할 수 있을 뿐이었습니다. 이 도구는 통계적 검증을 가능하게 합니다. 주장과 증거의 차이를 만드는 것입니다.

이 연구는 Google Research 블로그를 통해 공개되었으며, 전체 학술 논문은 AISTATS 2026 proceedings에 게재될 예정입니다.