arXiv:2606.03937: Entropie reicht nicht für visuelles Schlussfolgern, sagt neues RL-Framework

Eine neue Arbeit mit dem Titel Entropy Is Not Enough hinterfragt eine etablierte Praxis im bestärkenden Lernen für multimodale Modelle. Die Autoren, angeführt von einem Team um Senjie Jin und die Fudan-Universität, argumentieren, dass Methoden, die für Text hervorragend funktionieren, versagen, sobald das Modell über ein Bild schlussfolgern muss.

Was ist das Problem mit der Entropie?

Bestärkendes Lernen (reinforcement learning, RL) trainiert ein Modell, indem es gute Entscheidungen belohnt. Zur Zuweisung von Kredit an einzelne Tokens wird oft Entropie verwendet — ein Maß für die Unsicherheit des Modells über das nächste Wort. Die Logik lautet, dass unsichere Tokens am informativsten sind. Doch die Autoren warnen, dass visuell sensible Tokens — jene, die sich direkt auf den Bildinhalt stützen — von Natur aus eine niedrige Entropie haben. Der klassische Entropieansatz ignoriert sie daher, obwohl sie für eine korrekte Schlussfolgerung entscheidend sind.

Wie löst VEPO das Problem?

Das vorgeschlagene Framework heißt VEPO (Vision-Entropy token-selection for Policy Optimization). Es führt eine multiplikative Verknüpfung ein: Es lenkt den Gradienten-Kredit auf Tokens, die zugleich visuell verankert und hochinformativ sind. Das Produkt der beiden Maße bedeutet, dass ein Token beide Kriterien erfüllen muss, um Gewicht zu erhalten, wodurch die Überbewertung rein textueller, aber unsicherer Tokens vermieden wird.

Wie groß sind die Verbesserungen?

Die Ergebnisse zeigen durchgängige Zugewinne gegenüber Baselines, die allein Entropie nutzen: +2,28 Punkte bei Modellen mit 7 Milliarden Parametern und +3,15 Punkte bei kleineren Modellen mit 3 Milliarden Parametern. Die kleinere Skala bringt den größeren Zugewinn, was darauf hindeutet, dass eine kluge Token-Auswahl besonders wertvoll ist, wenn die Kapazität des Modells begrenzt ist.