arXiv:2606.25325: OPPO — 음성·표정·텍스트에서 동시에 감정을 읽는 RL 프레임워크

OPPO란 무엇이며 감정을 읽는 것이 왜 어렵습니까?

OPPO(Omni-Perception Policy Optimization)는 강화학습 프레임워크 — 모델이 보상 최적화를 통해 학습하는 머신러닝 분야 — 로, 오디오, 비디오, 텍스트를 동시에 처리하는 옴니모달 언어 모델을 대상으로 합니다. 감정 인식은 가장 어려운 멀티모달 작업 중 하나입니다. 동일한 감정이 빈정거리는 어조(청각), 입술을 꽉 다무는 것(시각), 또는 텍스트의 부정 표현으로 나타날 수 있는 반면, 기존 방법은 이러한 단서의 일부만 활용했습니다.

Omni-Perception Reward는 학습 방식을 어떻게 바꿉니까?

표준 모델은 올바른 최종 답에 대해 보상하며 추론 과정은 무시합니다. OPPO는 대신 참조 추론을 시각, 청각, 감정 요소로 분해하고 세 요소를 모두 실제로 복구하는 궤적에 보상합니다. 동시에 Omni-Perception Loss는 마스킹된 비디오 입력에서 시각적 세부 사항을 설명할 때 모델에 패널티를 부여하여, 완전한 조건과 마스킹된 조건 사이의 분포 편차를 통계적으로 측정하는 KL 패널티로 교차 모달 환각을 억제합니다.

SOTA 결과와 새로운 MEP-Bench

MER-UniBench와 MME-Emotion 두 기존 벤치마크에서 OPPO는 모달리티를 별도로 처리하거나 내부 자기 평가에 의존했던 이전 접근 방식을 능가하는 최첨단 결과를 달성했습니다. 저자들은 논문과 함께 기존 벤치마크가 다루지 않았던 두 가지 차원 — 모델이 각 모달리티를 실제로 얼마나 활용하는지, 그리고 수신한 데이터에 얼마나 충실한지 — 을 측정하는 새로운 진단 세트 MEP-Bench도 공개했습니다. 논문은 Zhiyuan Han 등의 연구진이 작성했으며 ICML 2026에 채택되었습니다.