Formalna teorija precizno definira kada iterativna refleksija LLM-ova donosi eksponencijalna poboljšanja

Iterativno samo-poboljšanje jezičnih modela — generiranje rješenja, njegova kritika i revizija unutar iste sesije — spada među najčešće korištene tehnike za poboljšanje točnosti modernih AI sustava. No koliko zaista pomaže, i pod kojim uvjetima? Istraživači Yotam Wolf, Noam Wies i Amnon Shashua ponudili su prvi rigorozni teorijski odgovor: formalni Bayesov okvir koji precizno definira kada in-context search donosi eksponencijalne dobitke, a kada je jednako beskoristan kao paralelno generiranje neovisnih rješenja.

Bayesov okvir za in-context search

Rad modelira iterativnu refleksiju kao aproksimativno Bayesovo zaključivanje nad lancima rezoniranja. Bazni jezični model definira prior distribuciju nad mogućim putanjama rješavanja problema. Svaki korak samo-kritike funkcionira kao evidencija koja ažurira tu distribuciju prema posterioru — slično tome kako novi dokaz u Bayesovoj statistici sužava prostor vjerojatnih hipoteza i eliminira nespojive zaključke.

Ovaj formalni okvir nosi konkretnu analitičku korist: rejection sampling (odbacivanje loših rješenja), best-of-N strategija (odabir najboljeg od N paralelnih uzoraka) i iterativna kritika (multi-turn samo-ispravak) nisu zasebne, nepovezane metode. Sve su posebni slučajevi istog temeljnog mehanizma ažuriranja distribucije uzorkovanja na temelju povratnih informacija. Okvir time pruža jedinstvenu leću za usporedbu tehnika koje su se dosad razvijale paralelno bez zajedničke teorijske podloge.

Kada iterativna refleksija donosi eksponencijalna poboljšanja?

Ključna varijabla nije koliko puta model pokuša, nego koliko precizno može locirati gdje se greška nalazi. Kada refleksija pouzdano identificira rane pogreške u lancu rezoniranja, sekvencijalni pokušaji donose eksponencijalno poboljšanje performansi: modeli mogu rješavati probleme s eksponencijalno malom zero-shot stopom prolaska koristeći samo polinomijalan broj sekvencijalnih pokušaja.

Intuicija je geometrijska: precizna lokalizacija greške znači da svaki sljedeći pokušaj počinje iz informiranije startne pozicije. Prostor pretrage se geometrijski sužava s svakom iteracijom, a svaki korak refleksije eliminira cijele klase pogrešnih rješenja. Kumulativna kondicioniranost na sve prethodne povratne informacije rezultira eksponencijalnim padom vjerojatnosti pogrešnog zaključka.

Autori su ključne teorijske predikcije empirijski testirali na stvarnim modelima za rezoniranje i potvrdili konzistentnost s formalnim iskazima — što daje empirijsku podlogu matematičkim tvrdnjama.

Asimptotska granica sekvencijalnog uvjetovanja

Teorija je jednako jasna o negativnom slučaju. Kada model ne može pouzdano locirati gdje se pogreška nalazi — zbog ambivalentnih povratnih informacija, odsutnosti verifikatora ili inherentne nejasnoće zadatka — sekvencijalno uvjetovanje ne daje asimptotsku prednost nad paralelnim uzorkovanjem.

U takvim scenarijima, pokretanje N neovisnih pokušaja i odabir najboljeg jednako je učinkovito kao N sekvencijalnih iteracija refleksije — ali paralelni pristup je u praksi brži, lakši za skaliranje i ne zahtijeva upravljanje dugim konverzacijskim kontekstom. Dugi lanci samo-ispravljanja bez pouzdanog mehanizma lokalizacije greške troše compute bez mjerljive asimptotske koristi.

Naučivost i veza s reinforcement learningom

Rad nudi dva dodatna rezultata relevantna za dizajn suvremenih AI sustava. Prvo, aproksimativna ažuriranja posteriora — kakva se prirodno javljaju u stvarnim jezičnim modelima koji ne provode egzaktno Bayesovo zaključivanje — zadovoljavaju traženu preciznost. Savršen Bayesov izračun nije preduvjet za ostvarivanje eksponencijalnih poboljšanja.

Drugo, potrebna ponašanja su naučiva cross-entropy treningom na search rolloutima uz polinomijalnu složenost uzoraka. U stagewise reinforcement learningom s verifikabilnim nagradama — kakav se koristi pri treniranju modela na matematičkim zadacima ili zadacima programiranja s automatskim provjerenicima — optimalne politike automatski implementiraju pravila posteriornog pretežanja opisana u teoriji. Modeli trenirani suvremenim RL-om nad domenama s verifikabilnim nagradama možda već implicitno uče ovaj mehanizam bez eksplicitnog nadzora.

Praktični kriterij za dizajnere AI sustava

Rad pruža praktičarima konkretan kriterij za arhitekturalne odluke. Ako zadatak dolazi s pouzdanim verifikatorom koji može locirati greške — matematičke provjere, izvršenje koda, formalna verifikacija, provjere konzistentnosti u logičkim sustavima — sekvencijalna refleksija donosi eksponencijalne dobitke i opravdava investiciju u multi-turn infrastrukturu s iterativnom kritikom.

Bez takvog verifikatora, paralelno uzorkovanje je racionalniji i troškovno učinkovitiji izbor. Ovo teorijski utemeljuje empirijsku sliku koja se ustaljeno pojavljuje u praksi: samo-ispravak modela iznimno dobro funkcionira u matematici, logičkim zagonetkama i programiranju, a znatno slabije u otvorenim domenama poput pisanja ili analize gdje je teško kvantificirati što točno nije u redu — i gdje precizna lokalizacija greške ostaje nerješen problem.