arXiv:2605.27773: Istraživanje na 8 LLM modela otkriva da je Chain-of-Thought rezoniranje 96% dekorativno i ne utječe na odluke modela
Istraživanje Pruthvinatha Jeripityja Venkata ispitalo je 200 pitanja na 8 jezičnih modela i otkrilo da Chain-of-Thought rezoniranje (CoT) funkcionira kao 'sloj prikaza znanja', a ne kao funkcionalni pokretač odluka. Parovi suprotnih odgovora zadržavaju 96% sličnosti CoT-a, što znači da eksplicitno rezoniranje nije uzrok promjene odluke. Samo GPT-4o pokazuje statistički pouzdanu vezu između rezoniranja i odluke.
Ovaj članak generiran je uz pomoć umjetne inteligencije na temelju primarnih izvora.
Preprint Pruthvinatha Jeripityja Venkata dovodi u pitanje jednu od temeljnih pretpostavki o Chain-of-Thought (CoT) rezoniranju u velikim jezičnim modelima (LLM): da eksplicitni lanac zaključivanja koji model generira zaista vodi njegovo donošenje odluka.
Što znači da je CoT 96% dekorativno?
Chain-of-Thought (CoT) rezoniranje je tehnika u kojoj se jezičnom modelu nalaže da korak po korak verbalizira proces zaključivanja prije davanja odgovora. Pretpostavka iza ove metode je da vidljivo rezoniranje vjerno odražava unutarnji kognitivni proces modela.
Istraživanje ovu pretpostavku empirijski testira i nalazi suprotno. Metodologija se temelji na tzv. “flip parovima” — situacijama u kojima isti model na isto pitanje daje suprotne odgovore. Ako CoT stvarno pokreće odluku, flip parovi bi trebali pokazivati drastično različit tekst rezoniranja.
Umjesto toga, istraživanje pokazuje da flip parovi zadržavaju 96% sličnosti CoT teksta usprkos suprotnim zaključcima (ROUGE-L skor d=0,45). Eksplicitno rezoniranje generira se gotovo neovisno o konačnoj odluci — CoT funkcionira kao “sloj prikaza znanja” koji služi komunikaciji, ali nije kauzalni mehanizam donošenja odluka.
Koji modeli su testirani i koji pokazuje iznimku?
Istraživanje je obuhvatilo 200 pitanja i 8 jezičnih modela u 4 različita prompt uvjeta. Modeli su testirani u scenarijima sukoba znanja — situacijama gdje ulazni dokument proturječi podacima iz treniranja.
GPT-4o je jedini model koji pokazuje statistički pouzdanu vezu između rezoniranja i donošenja odluke — jedina pozitivna iznimka u testiranom skupu. Claude Sonnet 4.6 pokazuje najširi raspon razina pouzdanosti, ali gotovo nultu skupnu korelaciju između CoT teksta i konačne odluke.
Zašto interni tokeni razmišljanja bolje otkrivaju odluke?
Statistički značajan nalaz: interni tokeni razmišljanja (thinking tokens) pokazuju veću osjetljivost na odluku od korisničkog CoT teksta (p=0,033). Ovo sugerira da postoji razlika između onoga što model “misli” interno i onoga što eksplicitno verbalizira kao rezoniranje.
Za praktičare koji se oslanjaju na CoT za interpetabilnost modela, autori savjetuju: “čitajte pouzdanost, ne argument”. Eksplicitni lanac zaključivanja možda ne vjerno reprezentira kako se odluka stvarno formira — posebno u situacijama gdje ulazni podaci proturječe trening znanju modela.
Česta pitanja
- Što znači da je Chain-of-Thought rezoniranje 96% 'dekorativno'?
- Istraživanje je izmjerilo da parovi suprotnih odgovora modela zadržavaju 96% sličnosti u Chain-of-Thought tekstu unatoč različitim zaključcima — što znači da eksplicitno rezoniranje nije kauzalni uzrok promjene odluke, već se generira neovisno o njoj.
- Koji LLM modeli su pokazali da Chain-of-Thought zaista utječe na odluke?
- Samo GPT-4o pokazuje statistički pouzdanu vezu između rezoniranja i donošenja odluke. Claude Sonnet 4.6 je testiran i pokazuje najširi raspon pouzdanosti, ali gotovo nultu skupnu korelaciju između CoT-a i konačne odluke.
- Koji je praktični savjet za korisnike koji se oslanjaju na Chain-of-Thought?
- Autori savjetuju: 'čitajte pouzdanost, ne argument'. Eksplicitno rezoniranje modela možda ne vjerno reprezentira kako se odluka stvarno formira, posebno u slučajevima sukoba između podataka za treniranje i ulaznih dokumenata.
📬 AI vijesti u tvoj inbox
Dnevni digest po tvojoj mjeri — biraš teme, izvore i ritam. Odjava jednim klikom.