arXiv:2606.14000 — AI agent formalizira matematički udžbenik: kompilacija ne garantira ispravnost

Velika ambicija: cijeli udžbenik u Lean 4

Formalna verifikacija matematike — dokazivanje teorema u sustavima poput Lean 4, Coq ili Isabelle — tradicionalno zahtijeva tisuće sati stručnog ručnog rada. Istraživači Theodore Meek, Siyuan Ge, Di Qiu Xiang, Simon Chess i Vasily Ilin primijenili su automatiziran agentski pipeline na ambiciozan cilj: formalizirati cijeli udžbenik numeričkih metoda za obične diferencijalne jednadžbe u Lean 4 s Mathlib knjižnicom.

Numerička analiza je posebno zahtjevan cilj jer je ta grana matematike relativno slabo zastupljena u postojećim formalnim knjižnicama — što znači da agent ne može jednostavno pozivati već dokazane leme, nego mora izgraditi formalizirane temelje od nule.

Je li kompilacija dovoljan dokaz ispravnosti?

Standardna metrika za evaluaciju agenata koji pišu formalni matematički kod jest prihvaćanje kernela — prolazi li kod kroz Lean verifikator bez grešaka. Na prvi pogled, ovo izgleda kao čvrst signal: ako kernel prihvati iskaz, dokazano je formalno ispravnim.

Istraživanje opovrgava ovu pretpostavku. Autori su otkrili da kernel prihvaćanje u osnovi prikriva semantičke greške — agenti redovito produciraju iskaze koji se kompiliraju, ali su netočni u matematičkom smislu. Štoviše, metrike bazirane na kompilaciji u značajnoj mjeri precjenjuju stvarnu kvalitetu formalizacije, što dovodi u pitanje pouzdanost evaluacijskih protokola koji se oslanjaju isključivo na ovaj signal.

Tri sustavna obrasca neuspjeha

Agentski pipeline pokazao je tri ponavljajuća obrasca grešaka koje kompilacija ne hvata.

Dodane hipoteze koje oslabljuju teoreme. Agent formulira teorem s dodatnim pretpostavkama kojih originalni teorem nema. Iskaz je tehnički točan u okviru tih pretpostavki — ali dokazuje slabiju tvrdnju. Primjerice, opći teorem o konvergenciji numeričke metode može biti ograničen na specijalni slučaj s pozitivnim koeficijentima, što Lean prihvaća, ali istraživač ne bi.

Nepotpuna pokrivenost višedijelnih iskaza. Kada teorem ima više zaključaka ili slučajeva, agent može formalizirati samo jedan dio. Lean to prihvaća kao valjanu, ali parcijalnu formalizaciju. Pokrivenost originalnog teorema ostaje nepotpuna bez ikakve dijagnostičke poruke iz verifikatora.

Fantomski importovi. Agent referira Mathlib definicije ili leme koje ne postoje ili imaju drugačija eksportirana imena. U određenim kontekstima Lean tolerira ovakve importove ili ih rješava parcijalno, propuštajući grešku kroz kernel i ostavljajući lažni dojam valjanosti.

Trodimenzionalni okvir kvalitete

Kao odgovor, autori predlažu trodimenzionalni okvir evaluacije koji premašuje binarni pristup prihvaćanja ili odbijanja.

Prva dimenzija je semantička ispravnost — odgovara li formalizirani iskaz semantici originalnog teorema iz udžbenika, neovisno o tome prolazi li kernel provjeru. Druga je Mathlib ponovna upotreba — koristi li agent postojeće definicije, leme i strukturu iz Mathlib knjižnice ili reinventira već dokazane tvrdnje. Treća je međufileska ponovna upotreba — jesu li definicije konzistentne kroz različite datoteke projekta ili postoje nekonzistentni parovi koji prikrivaju logičke rupe.

Sve tri dimenzije ocjenjuju se LLM-as-judge pristupom — automatiziranom evaluacijom koja je reproducibilna i skalabilna. Okvir je dizajniran da bude primjenjiv na buduće agentske sustave formalizacije, ne samo na ovaj specifičan pipeline.

Šire implikacije za AI coding benchmarke

Rad ima posljedice koje sežu daleko izvan formalne matematike. Kompilacija kao primarni signal uspjeha koristi se i u evaluaciji AI coding agenata za standardni softver — benchmarci poput HumanEval ili SWE-bench oslanjaju se na prolazak testova kao proxy za ispravnost.

Ako je isti problem prisutan i tamo — agenti koji prolaze testove, ali produciraju semantički oslabljene ili djelomično točne implementacije — tada su standardni AI coding benchmarci nedovoljni kvalitetni signali. Ovo istraživanje pruža formalni argument za tu zabrinutost, potkrijepljen konkretnim uzorcima grešaka katalogiziranim na stvarnom projektu formalizacije.

Za timove koji raspoređuju AI agente za pisanje ili verifikaciju kritičnog koda, ključna poruka je jasna: provjera kompilacije i prolazak testova su nužni, ali ne dovoljni pokazatelji ispravnosti. Semantička evaluacija — ma koliko skuplja i teža za automatizaciju — ostaje nezaobilazan korak.