Google Research: 확산 모델의 창의성, score 함수의 「평활화」로 설명되다

확산 모델이란 무엇이며 왜 새로운 이미지를 생성할 수 있습니까?

확산 모델은 무작위 노이즈에서 시작하여 score 함수(디노이징 과정을 고확률 데이터로 안내하는 그라디언트)를 따라 반복적으로 노이즈를 제거하며 데이터를 생성하는 생성 모델입니다. Google Research 연구원 Chen Zhengdao가 이러한 모델이 훈련 데이터셋에 없는 이미지를 생성하는 이유에 대한 수학적 설명을 발표했습니다.

정규화가 「평활화」를 유발합니다

핵심 메커니즘은 신경망이 정확한 score 함수가 아닌 근사적이고 흐릿한 버전을 학습한다는 점에 있습니다. 이는 과적합을 방지하는 정규화(가중치 감쇠)로 인한 것입니다. Chen은 이 효과를 「score 평활화」라고 부릅니다. 디노이징 입자는 기억된 훈련 샘플로 정확히 수렴하지 않고, 데이터 매니폴드를 따라 훈련 포인트 사이의 보간 영역에 안착합니다. 결과적으로 모델이 이전에 함께 보지 못한 특징들의 조합, 즉 새롭고 기억되지 않은 생성물이 만들어집니다.

고차원 공간: 사실성과 신규성의 균형

이미지에 전형적인 고차원 공간에서 평활화는 선택적으로 작용합니다. **매니폴드에 접선 방향의 움직임(매니폴드를 따라)**을 늦추고 **법선 방향의 움직임(매니폴드를 향해)**을 가속합니다. 이는 모델이 데이터 매니폴드를 따름으로써 「사실적」으로 유지되면서도, 알려진 포인트로 수렴하지 않음으로써 신규성을 보존한다는 의미입니다. 사실성과 독창성 사이의 이 기하학적 균형은 명시적으로 프로그래밍된 것이 아니라, 훈련 중 정규화의 직접적인 결과로 나타납니다.

예측 가능한 수학적 결과로서의 창의성

Chen의 결론은 생성 모델의 신비화에 정면으로 이의를 제기합니다. 확산 모델의 창의성은 예측 가능한 수학적 결과이며, 우연한 창발 현상이 아닙니다. GAN 잠재 공간에서의 고전적 보간과 비교하면——그곳에서 보간은 명시적이지만——확산 모델은 score 평활화를 통해 동일한 효과를 암묵적으로 달성합니다. 이 통찰은 창의성의 정밀한 제어로 가는 길을 열어줍니다. 정규화 강도를 변경함으로써 모델이 훈련 데이터에서 「얼마나 멀리」 생성할지를 조절할 수 있을 것입니다.

---

출처: Google Research Blog