Google Research：拡散モデルの創造性はscore関数の「平滑化」で説明できる

拡散モデルとは何か、なぜ新しい画像を生成できるのか？

拡散モデルは、ランダムなノイズから始めてscore関数（デノイジングプロセスを高確率なデータへと導く勾配）に従いながら、段階的にノイズを除去してデータを生成する生成モデルです。Google Researchの研究員である陳正道氏が、これらのモデルが訓練データにない画像を生成する理由についての数学的な説明を発表しました。

正則化が「平滑化」をもたらす

鍵となるメカニズムは、ニューラルネットワークが正確なscore関数ではなく、近似的で曖昧なバージョンを学習する点にあります。これは過学習を防ぐ正則化（weight decay）によるものです。陳氏はこの効果を「score平滑化」と呼んでいます。デノイジングの粒子は記憶された訓練サンプルに正確には収束せず、データ多様体に沿った訓練点間の補間ゾーンに落ち着きます。結果として、モデルがこれまで一緒には見たことのない特徴の組み合わせ——新しく記憶されていない生成物が得られます。

高次元空間：リアリズムと新規性のバランス

画像に典型的な高次元空間では、平滑化は選択的に作用します。多様体に接線方向の動き（沿方向）を遅らせ、法線方向の動き（垂直方向）を加速します。これにより、モデルはデータ多様体に沿うことで「リアル」を維持しながら、既知の点には収束しないことで新規性を保ちます。このリアリズムと独自性の幾何学的バランスは明示的にプログラムされたものではなく、訓練時の正則化の直接的な結果として現れます。

予測可能な数学的結果としての創造性

陳氏の結論は、生成モデルの神秘化に真っ向から異を唱えるものです。拡散モデルの創造性は予測可能な数学的結果であり、偶然の創発現象ではありません。GANの潜在空間における古典的な補間と比較すると——そこでの補間は明示的ですが——拡散モデルはscore平滑化によって同じ効果を暗黙的に達成しています。この知見は創造性の精密な制御への道を開きます。正則化の強さを変えることで、モデルが訓練データから「どれほど離れた」生成を行うかを調整できる可能性があります。

---

出典：Google Research Blog