arXiv:2606.02000: Bewegungssteuerung in Video-Diffusion über 3D-Mesh-Token

Eine neue auf arXiv unter der Kennung arXiv:2606.02000 veröffentlichte Studie mit dem Titel “Towards 3D-Aware Video Diffusion Models: Render-Free Human Motion Control with Mesh Tokenization” schlägt einen Ansatz zur Steuerung menschlicher Bewegung in der Videogenerierung vor, der nicht auf klassisches Rendering angewiesen ist. Die Autoren (Liang et al.) umgehen 2D-gerenderte Leitfäden und konditionieren das Modell direkt auf komprimierte 3D-Token des menschlichen Mesh.

Was ist Mesh-Tokenisierung?

Ein Mesh ist ein 3D-geometrisches Modell des menschlichen Körpers, das aus einem Netz von Polygonen besteht. Statt dieses Modell zunächst in ein 2D-Bild zu rendern, das die Generierung leitet, wandelt die vorgeschlagene Methode die Geometrie in Token um, diskrete Einheiten, die ein Transformer verarbeiten kann. Eine solche Repräsentation, so die Autoren, “bewahrt die vollständige 3D-geometrische Information” und ermöglicht eine einheitliche Pipeline, in der Video-Token gemeinsam mit Motion-Token verarbeitet werden.

Wie funktioniert die Architektur?

Das System nutzt eine DiT-Architektur (Diffusion Transformer), in der das Modell während der Videogenerierung “gemeinsam über Erscheinungsbild, 3D-Struktur und Kamerawinkel rezoniert”. Motion-Token und Video-Token werden gleichzeitig innerhalb desselben Transformers verarbeitet, was integriertes Schlussfolgern über mehrere Modalitäten zugleich erfordert.

Wie sehen die Ergebnisse aus?

Die Methode zeigt eine starke Leistung bei Benchmarks zur Steuerung menschlicher Bewegung mit praktischen Verbesserungen: Sie reduziert Artefakte, die durch einen blickwinkelabhängigen 2D-Leitfaden verursacht werden, sowie Diskrepanzen zwischen Pose und Trajektorie beim Bearbeiten. Die Autoren schließen, dass Video-Diffusionsmodelle, ausgestattet mit Mesh-Tokenisierung, die komplexen 3D-Strukturen des menschlichen Körpers und deren Interaktion mit der Umgebung besser erfassen.