arXiv:2606.09450: TheoremBench — Benchmark zur Evaluierung von LLMs beim formalen Theorembeweisen

Lean4 und formales Beweisen

Lean4 ist eine Programmiersprache zum Schreiben mathematischer Beweise, die ein Computer automatisch überprüfen kann. Im Gegensatz zu klassischen Arbeiten in natürlicher Sprache müssen formale Beweise eine strikte logische Prüfung bestehen — jeder Schritt muss explizit angegeben und begründet werden. Das macht sie zu einem leistungsfähigen Werkzeug zur Überprüfung komplexer mathematischer Aussagen, aber auch zu einem anspruchsvollen Prüffeld für Sprachmodelle.

TheoremBench: rund 100 klassische Theoreme, zwei Formate

Die Forscher QuocViet Pham, Elvir Karimov, Andrey Galichin und Ivan Oseledets (arXiv:2606.09450, 8. Juni 2026) führten TheoremBench ein — einen Satz von ~100 klassischen mathematischen Theoremen in zwei Formaten. Das Standardformat gibt nur die Aussage vor, während das erweiterte Format automatisch Hilfsteiltheoreme als explizite Prämissen extrahiert. Der Benchmark geht über Wettbewerbsaufgaben hinaus und bewertet Modelle an längeren, abhängigkeitsreichen mathematischen Ausarbeitungen.

Verbessern explizite Prämissen die Modellleistung?

Ja. Der Schlüsselbefund der Forschung ist, dass das Bereitstellen expliziter Prämissen die Leistung Lean4-fähiger Modelle erheblich verbessert — der Unterschied zwischen den Formaten ist nicht marginal. Darüber hinaus zeigen zwei neue Metriken — Theoremebenenabdeckung und Token-Effizienz — verborgene Schwächen: Modelle bevorzugen systematisch leichtere Teiltheoreme und generieren zu lange Beweise. Eine hohe Gesamtlösungsrate kann so echte Schwächen im mathematischen Schlussfolgern verbergen.