arXiv: DLWM——マルチモーダル推論のための多様な潜在世界モデル

DLWM——視覚入力に複数の同等に有効な解釈がある場合はどうするか？

現実世界の視覚入力は完全に明確であることはほとんどない。オクルージョン——1つのオブジェクトが別のオブジェクトを隠す——ぼやけたエッジ、視点の変化、または日常的なビデオや写真における意味的曖昧性は日常的な現象だ。唯一の解釈を想定するモデルはこれらのケースで系統的に失敗する：パラメータが不十分だからではなく、基本的なデザイン自体が視覚データの根本的な特性として曖昧性を無視しているからだ。

研究者のDavid HuangとLianlei ShanはDLWM（Diverse Latent World Models）を提案した——1つの固定されたシーン表現の代わりに、シーンが何を示す可能性があるかについて複数の潜在仮説を同時に構築し、それらの仮説間で計算をインテリジェントに配分するアーキテクチャだ。

複数の仮説と直交正則化

DLWMの主要なメカニズムは連続的な潜在空間での多様な潜在仮説のセットを構築することだ。各仮説は同じ視覚シーンの代替解釈を表す——オクルージョンで隠された部分の異なる可能な再構成、ぼやけた領域の異なる意味的コンテキスト、または変化した視点からの代替的な空間配置。

しかし仮説の多様性は自然に生まれない：明示的なインセンティブなしに共同でトレーニングすると、モデルは類似した解決策に収束する傾向がある——「仮説のコラプス」として知られる現象だ。DLWMはこの問題を直交性に基づく正則化器で防ぐ。このアプローチは仮説を潜在空間で互いにできるだけ異なるよう明示的に強制し、それぞれが固有の情報価値を持ち、仮説のセットが可能な解釈の現実的な範囲を一緒にカバーすることを確保する。

強化学習による適応的計算配分

複数の仮説の生成と処理には計算コストがかかる：常にすべての仮説を最大限に使用するモデルは実際には受け入れられない。DLWMは特別なポリシーを導入する——強化学習の手法で学習された——推論時に利用可能な仮説間で計算を適応的に配分する。

このポリシーは推論をリソース制約のある逐次的な意思決定問題として扱う：各ステップでどの仮説にどれだけ注目を向けるか、いつ推論を終了するのに十分な確信度に達したかを評価する。結果として、視覚的に明確なシーンにはリソースを浪費せず、状況が代替案のより深い探索を必要とする場合には適切に投資するモデルが生まれる。

複数のベンチマークでの測定可能な結果

マルチモーダル推論ベンチマークのセットで、DLWMは既存の手法と比較して精度2〜5パーセントポイントの改善を達成する。それと同時に、アーキテクチャは同等のアプローチよりも**24%**少ないメモリを使用する——複数の仮説の同時処理を考えると一見矛盾した結果だ。

説明はアーキテクチャの選択にある：仮説は完全次元の明示的な視覚的再構成としてではなく、圧縮された潜在空間に存在する。直交性は冗長性なしにその空間の効率的な使用を確保し、適応的ポリシーはすべての推論に全容量を割り当てないことでさらに貢献する。

多様性のための適切な場所としての潜在空間

視覚的曖昧性への以前のアプローチはしばしばピクセルレベルまたは記号的表現で機能した。複数の候補画像再構成の生成は計算コストが高い；記号的な列挙は連続的でグラデーション的な曖昧性のケースではうまく機能しない。

DLWMは多様性を連続的な潜在空間に移し、そこではパラメータ効率が高くグラジェントトレーニングと互換性がある。計算配分のためのRLポリシーとの組み合わせにより、計算リソースが無制限でないシナリオでも——ほぼすべての現実の適用例を含む——実用的なアーキテクチャになる。

マルチモーダル推論への影響

この研究はマルチモーダルモデルの設計について具体的な問いを開く：何が見えるかを「知っている」ことを前提とした可能な限り信頼できる知覚の構築を試みる代わりに、より生産的なアプローチは適応的注意配分を伴う多様な仮説のセットとして不確実性を明示的にモデル化することかもしれない。

2026年6月13日に公開されたDLWMは、マルチモーダルアーキテクチャが集中的に開発されている時期に来る。現在のモデルのほとんどが視覚入力の1つのますます確実な表現に向かっている中、DLWMは反対のアプローチを提案する：曖昧性を視覚データの根本的な特性として受け入れ、アーキテクチャ自体に組み込む。