arXiv:2606.19808: SEVRA spart durch selektive Verifikation bis zu 91 Prozent der Tokens beim Modell-Reasoning

Die Studie arXiv:2606.19808 stellt SEVRA vor, einen Controller für budgetbewusstes Reasoning in großen Sprachmodellen. Verifikation ist der Schritt, bei dem das Modell seine Antwort zusätzlich prüft, was die Zuverlässigkeit erhöht, aber Tokens und Zeit kostet. SEVRA entscheidet, wann sich die Verifikation lohnt und wann es ausreicht, die erste Schätzung des Solvers zu akzeptieren.

Ergebnisse in Zahlen

Auf dem Benchmark GSM8K (mathematische Grundschulaufgaben) steigert SEVRA die Genauigkeit von 93,4 auf 94,5 Prozent bei bis zu 91,2 Prozent weniger Verifikations-Tokens. Auf dem schwierigeren MATH-500 erreicht es 76,3 Prozent Genauigkeit bei 26,8 Prozent weniger Tokens als der Ansatz, der immer verifiziert. Der Vergleich zeigt, dass selektive Verifikation nicht nur Ressourcen spart, sondern auch die Genauigkeit leicht erhöht.

Warum das wichtig ist

SEVRA reduziert auch den Anteil schädlicher Änderungen — Fälle, in denen die Verifikation eine bereits korrekte Antwort verschlechtert — von 2,2 auf 1,0 Prozent. Die Autoren betonen, dass die Basis-Reasoning-Kapazität optimiert werden sollte, bevor teure Verifikationsstrategien eingeführt werden. Für Systeme unter Kostenbeschränkungen bietet selektive Verifikation einen praktischen Kompromiss zwischen Kosten und Zuverlässigkeit.