arXiv:2606.09450: TheoremBench — benchmark za evaluaciju LLM-ova na formalnom dokazivanju teorema
TheoremBench je novi benchmark koji procjenjuje sposobnost velikih jezičnih modela u formalnom dokazivanju teorema pomoću Lean4. Obuhvaća oko 100 klasičnih teorema u standardnom i proširenom formatu s automatski izvučenim premisama. Istraživanje pokazuje da eksplicitne premise znatno poboljšavaju izvedbu, dok nove metrike otkrivaju da modeli favoriziraju lakše podteoreme i generiraju predugačke dokaze.
Ovaj članak generiran je uz pomoć umjetne inteligencije na temelju primarnih izvora.
Lean4 i formalno dokazivanje
Lean4 je programski jezik namijenjen pisanju matematičkih dokaza koje računalo može automatski provjeriti. Za razliku od klasičnih radova pisanih prirodnim jezikom, formalni dokazi moraju proći strogu logičku provjeru — svaki korak mora biti eksplicitno naveden i opravdan. To ih čini moćnim alatom za provjeru složenih matematičkih tvrdnji, ali i zahtjevnim ispitnim poljem za jezične modele.
TheoremBench: oko 100 klasičnih teorema, dva formata
Istraživači QuocViet Pham, Elvir Karimov, Andrey Galichin i Ivan Oseledets (arXiv:2606.09450, 8. lipnja 2026.) uveli su TheoremBench — skup od ~100 klasičnih matematičkih teorema u dva formata. Standardni format daje samo tvrdnju, dok prošireni format automatski izvlači pomoćne podteoreme kao eksplicitne premise. Benchmark ide dalje od natjecateljskih problema i procjenjuje modele na dužim, ovisnostima bogatim matematičkim razradama.
Poboljšavaju li eksplicitne premise izvedbu modela?
Da. Ključni nalaz istraživanja jest da davanje eksplicitnih premisa znatno poboljšava izvedbu modela sposobnih za Lean4 — razlika između formata nije marginalna. Uz to, dvije nove metrike — pokrivenost na razini teorema i token-efikasnost — otkrivaju skrivene slabosti: modeli sustavno favoriziraju lakše podteoreme i generiraju predugačke dokaze. Visoka ukupna stopa rješavanja tako može prikriti stvarne nedostatke u matematičkom zaključivanju.
Česta pitanja
- Što je Lean4 i zašto je važan za evaluaciju jezičnih modela?
- Lean4 je programski jezik za formalno dokazivanje teorema koji zahtijeva strogu logičku provjeru svakog koraka. Za razliku od prirodnog jezika, ne dopušta aproksimativne argumente — što ga čini idealnim ispitnim poljem za AI sustave.
- Zašto eksplicitne premise poboljšavaju izvedbu modela u TheoremBenchu?
- Eksplicitne premise smanjuju teret zaključivanja jer modelu nije potrebno samostalno pronalaziti međukorake. Prošireni format automatski izvlači pomoćne podteoreme, što znatno podiže stope rješavanja za modele sposobne za Lean4.
📬 AI vijesti u tvoj inbox
Dnevni digest po tvojoj mjeri — biraš teme, izvore i ritam. Odjava jednim klikom.