arXiv:2605.07776: praćenje neizvjesnosti u LLM reasoning trace-ovima — pogreške predvidive iz prvih 100 tokena
Rad arXiv:2605.07776 je istraživanje praćenja neizvjesnosti u reasoning trace-ovima velikih jezičnih modela. Autori (Grünefeld, Højer, Mondorf, Plank, Rogers i suradnici) razvili su 'uncertainty trace profile' — kompaktni skup značajki koji predviđa točan ishod s AUROC 0.807, već iz prvih nekoliko stotina tokena (AUROC 0.801).
Ovaj članak generiran je uz pomoć umjetne inteligencije na temelju primarnih izvora.
Novi rad u arXiv preprint repozitoriju (arXiv:2605.07776) bavi se važnim praktičnim pitanjem: može li se točnost reasoning trace-a velikog jezičnog modela predvidjeti iz neizvjesnosti samog modela tijekom generiranja? Autori Nils Grünefeld, Bertram Højer, Philipp Mondorf, Barbara Plank, Anna Rogers, Christian Hardmeier, Stefan Heinrich i Jes Frellsen tvrde da može — i to vrlo rano.
Uncertainty trace profile
Tim je razvio uncertainty trace profile — kompaktni skup značajki koji opisuje uzorak neizvjesnosti kroz intermedijalne tokene reasoning generacije. Umjesto promatranja samo finalnog odgovora, metoda hvata oblik krivulje neizvjesnosti tijekom generacije i koristi taj oblik kao prediktor točnosti finalnog ishoda.
Rezultati: AUROC 0.807, rano otkrivanje
Glavni rezultat je AUROC 0.807 u predviđanju točnog finalnog odgovora kroz pet različitih jezičnih modela. Još praktičnije: koristeći samo prvih nekoliko stotina tokena, AUROC ostaje 0.801 — što znači da sustav može označiti reasoning chain kao vjerojatno točan ili sumnjiv prije završetka generacije.
Otkriće: točni reasoning trace-ovi pokazuju “strmiji i manje linearan pad neizvjesnosti” naspram pogrešnih, koji ostaju ravniji ili nepredvidiviji. Razlika se konzistentno pojavila u dva testna dataseta — GSM8K (matematička pitanja) i ProntoQA (logičko zaključivanje).
Praktične implikacije
Za inference pipeline-e ovo je gradivni blok za “self-aware” generaciju: sustav koji prati svoju neizvjesnost može rano odbiti loš reasoning chain i resample-ati prije nego potroši cijeli budget. To uspoređuje s prethodnim pristupima koji se oslanjaju na finalnu confidence ocjenu — preuranjeno odbijanje smanjuje trošak i latenciju.
Česta pitanja
- Što je uncertainty trace profile?
- Uncertainty trace profile je kompaktni skup značajki koji opisuje kako se modelova neizvjesnost mijenja kroz tokene reasoning trace-a. Umjesto da gleda samo finalni odgovor, profil hvata oblik krivulje neizvjesnosti — npr. strmi pad ili linearno opadanje — i koristi ga kao prediktor točnosti.
- Što razlikuje točan od pogrešnog reasoninga?
- Točni reasoning trace-ovi pokazuju strmiji i manje linearan pad neizvjesnosti kroz tokene. Pogrešni trace-ovi imaju ravniji ili nepredvidiviji uzorak. Razlika se konzistentno pojavila u GSM8K (matematička pitanja) i ProntoQA (logičko zaključivanje) datasetima.
- Zašto je AUROC 0.807 značajan?
- AUROC mjeri sposobnost klasifikatora da razlikuje pozitivne od negativnih primjera, gdje je 1.0 savršen, a 0.5 nasumičan. 0.807 znači čvrstu prediktivnu moć — sustav može s visokim povjerenjem označiti reasoning trace kao vjerojatno točan ili sumnjiv prije završetka generacije, što omogućuje rano odbijanje ili re-sampling.
Povezane vijesti
arXiv:2605.21006: Off-the-shelf persona vektori postižu 68-98% učinkovitosti targetiranog sycophancy steeringa u LLM modelima
Black Forest Labs: FLUX Erase nadmašuje GPT Image-2 (68.5%) i Finegrain (63.2%) u uklanjanju objekata bez prompta
arXiv:2605.19762: ICML 2026 paper tvrdi da kod ne poboljšava matematičko zaključivanje LLM-ova