ArXiv：LLMにおける数値不安定性——浮動小数点誤差がトランスフォーマーに混乱をもたらす仕組み

なぜ同じプロンプトが異なる答えを返すのか？

大規模言語モデルのユーザーは誰もがこの現象に気づいたことがあるでしょう。同じモデルに同じ質問をすると、時に異なる答えが返ってきます。この動作の一部は意図的なランダム性（温度パラメータ）で説明できますが、研究者のChashi Mahiul Islam、Alan Villarreal、Mao Nishinoはより深い説明を示しています——トランスフォーマーアーキテクチャ自体に固有の数値不安定性です。

浮動小数点演算——コンピュータが有限精度で小数を表現するシステム——は不可避的に丸め誤差を導入します。彼らの研究は、これらの誤差がトランスフォーマーアーキテクチャの層を通過する際にどのように「伝播、増幅、あるいは消滅するか」を追跡しています。

三つの動作モード

この研究はトランスフォーマーの初期層における「雪崩効果」を特定しており、小さな摂動が二値的な結果をもたらします——急速に増幅されるか、完全に抑制されるかのどちらかです。これにより三つの異なるモードが生まれます。

安定モードは摂動が入力依存の閾値を下回るときに生じます——誤差が消え、モデルは一貫した出力を返します。混乱モードは丸め誤差が支配的になり出力の発散を引き起こすときに生じます。シグナル支配モードは入力の実際の変動が数値的なノイズを上回る場合です。

AI業界への実践的な影響

これらの「普遍的でスケール依存の混乱パターン」は複数のデータセットとアーキテクチャにわたって現れており、問題が特定のモデルやメーカーに固有のものではないことを意味します。

本番システムにとって——特にLLMがチェーン内で決定を行うエージェント型ワークフローに統合されたシステムにとって——これは具体的な影響があります。同じコードが異なるハードウェア（GPU対TPU対CPU）で異なる出力を生成する可能性があり、それは設計によるものではなく、浮動小数点演算の実装方法の違いによるものです。これは医療や金融などの規制された産業においてAIシステムの再現性、テスト、認証を脅かします。