arXiv:2606.20561: TimeProVe reduziert Inferenzkosten bei langen Videos um 93 %

Teure Video-QA-Modelle werden jetzt 4× seltener aufgerufen

Die Forscher Arkaprava Sinha, Dominick Reilly, Siddharth Krishnan, Hieu Le und Srijan Das haben am 18. Juni 2026 eine Arbeit eingereicht, die TimeProVe einführt — ein Framework für effizientes temporales Schlussfolgern über lange Videos. Die Arbeit wurde am 19. Juni auf arXiv veröffentlicht (2606.20561).

Wie der zweistufige „Vorschlagen und Verifizieren”-Ansatz funktioniert

TimeProVe teilt die klassische Video-QA-Aufgabe in zwei Stufen auf. Ein leichtgewichtiges Modul generiert zunächst Antwortwypothesen, ohne das teure Modell aufzurufen. Danach selektiert das ACE-Modul (Action-based Candidate Evidence) relevante Belege und leitet sie ausschließlich für die Verifikationsphase an das teure Vision-Language-Modell (VLM) weiter. Dieser Ansatz reduziert die Anzahl der VLM-Aufrufe um 75 % und die Gesamtinferenzkosten um 93 % im Vergleich zu Methoden, die das teure Modell bei jedem Schritt aufrufen.

OpenTSUBench: Ein neuer Maßstab für Alltagsaktivitäten

Die Autoren führen gleichzeitig OpenTSUBench ein — einen Benchmark für zeitlich fundiertes Schlussfolgern in der Kategorie „Activities of Daily Living” (ADL). Auf diesem Benchmark übertrifft TimeProVe das bisher stärkste Basismodell um 7,3 Prozentpunkte, was bestätigt, dass die Kostensenkung nicht auf Kosten der Genauigkeit geht.

Warum das wichtig ist

Bisherige VLM-Ansätze für lange Videos waren entweder teuer (Modellaufruf für jeden Frame/Segment) oder opferten durch grobes Sampling die Genauigkeit. TimeProVe zeigt, dass sich diese beiden Ziele nicht ausschließen: Durch intelligente Aufgabenteilung zwischen einem leichten und einem schweren Modell lassen sich sowohl bessere Genauigkeit als auch dramatisch niedrigere Kosten erzielen — und damit öffnet sich der Weg zu einer praktischen VLM-Anwendung über stundenlange Videos in realen Systemen.