arXiv: DLWM — 멀티모달 추론을 위한 다양한 잠재 세계 모델

DLWM — 시각적 입력에 동등하게 유효한 여러 해석이 있을 때

실제 세계의 시각적 입력은 거의 완벽하게 명확하지 않습니다. 가림 현상 — 한 물체가 다른 물체를 가릴 때 — 흐릿한 가장자리, 시점 변화 또는 의미론적 모호성은 비디오와 사진에서 일상적인 현상입니다. 단일 해석을 가정하는 모델들은 이런 경우에 체계적으로 실패합니다: 충분한 매개변수가 없어서가 아니라, 기본 설계 자체가 시각적 데이터의 근본적인 특성인 모호성을 무시하기 때문입니다.

연구자 David Huang과 Lianlei Shan은 DLWM(Diverse Latent World Models)을 제안했습니다 — 하나의 고정된 장면 표현 대신 장면이 무엇을 보여줄 수 있는지에 대한 여러 잠재 가설을 동시에 구축하고, 그 가설들 사이에 지능적으로 계산을 배분하는 아키텍처.

여러 가설과 직교 정규화

DLWM의 핵심 메커니즘은 연속적인 잠재 공간에서 다양한 잠재 가설 집합을 구축하는 것입니다. 각 가설은 동일한 시각적 장면에 대한 대안적 해석을 나타냅니다 — 가림으로 가려진 부분의 다른 가능한 재구성, 흐릿한 영역의 다른 의미론적 맥락, 또는 변경된 시점에서의 대안적 공간 배치.

그러나 가설의 다양성은 저절로 오지 않습니다: 명시적인 인센티브 없이 공동으로 학습하면 모델들은 유사한 해결책으로 수렴하는 경향이 있습니다 — ‘가설 붕괴’로 알려진 현상. DLWM은 직교성에 기반한 정규화기로 이 문제를 방지합니다. 이 접근법은 가설들이 잠재 공간에서 서로 최대한 달라지도록 명시적으로 강제하여, 각 가설이 고유한 정보적 가치를 갖고 가설 집합이 함께 가능한 해석의 실제 범위를 커버하도록 합니다.

강화학습을 통한 적응적 계산 배분

여러 가설을 생성하고 처리하는 것은 계산 비용이 있습니다: 항상 최대한으로 모든 가설을 활용하는 모델은 실용적으로 수용할 수 없을 것입니다. DLWM은 추론 시 사용 가능한 가설들 사이에 계산을 적응적으로 배분하는 특별한 정책 — 강화학습 방법으로 학습된 — 을 도입합니다.

이 정책은 추론을 자원 제약적인 순차적 결정 문제로 처리합니다: 각 단계에서 어떤 가설에 더 많은 주의를 기울일지 평가하고 만족스러운 수준의 신뢰도에 도달하면 추론을 종료합니다. 결과는 시각적으로 명확한 장면에 자원을 낭비하지 않지만, 상황이 대안의 더 깊은 탐구를 요구할 때 적절하게 투자하는 모델입니다.

여러 벤치마크의 측정 가능한 결과

멀티모달 추론 벤치마크 집합에서 DLWM은 기존 방법에 비해 2~5 퍼센트포인트의 정확도 향상을 달성합니다. 이와 동시에 아키텍처는 비교 접근법보다 24% 적은 메모리를 사용합니다 — 여러 가설을 동시에 처리한다는 점을 감안하면 겉보기에 모순되는 결과입니다.

설명은 아키텍처 선택에 있습니다: 가설은 전체 차원의 명시적 시각적 재구성이 아닌 압축된 잠재 공간에 존재합니다. 직교성은 중복 없이 그 공간을 효율적으로 사용하도록 하고, 적응적 정책은 모든 추론에 전체 용량을 할당하지 않기 때문에 추가로 기여합니다.

다양성의 올바른 장소로서의 잠재 공간

시각적 모호성에 대한 이전 접근법들은 종종 픽셀 수준이나 상징적 표현에서 작동했습니다. 여러 후보 이미지 재구성을 생성하는 것은 계산적으로 비용이 많이 들고, 상징적 열거는 연속적이고 그라디언트적인 모호성의 경우에는 잘 작동하지 않습니다.

DLWM은 다양성을 매개변수적으로 효율적이고 그라디언트 학습과 호환되는 연속적인 잠재 공간으로 이동시킵니다. 계산 배분을 위한 RL 정책과의 결합은 계산 자원이 무제한이 아닌 시나리오에서 — 거의 모든 실제 응용 사례를 포함하는 — 아키텍처를 실용적으로 만듭니다.

멀티모달 추론에 대한 함의

이 논문은 멀티모달 모델 설계에 대한 구체적인 질문을 제기합니다: 정확히 무엇을 보는지 ‘알고 있다고’ 가정되는 점점 더 확실한 인식을 구축하려는 시도 대신, 더 생산적인 접근법은 불확실성을 주의의 적응적 배분과 함께 다양한 가설 집합으로 명시적으로 모델링하는 것일 수 있습니다.

2026년 6월 13일 발표된 DLWM은 멀티모달 아키텍처가 집중적으로 개발되는 시점에 등장합니다. 대부분의 현재 모델들이 시각적 입력의 점점 더 확실한 단일 표현을 향해 나아가는 반면, DLWM은 반대 접근법을 제안합니다: 모호성을 시각적 데이터의 근본적인 특성으로 받아들이고 아키텍처 자체에 내장하는 것.