Google Research: kako razmišljanje otključava parametarsko znanje u LLM-ovima
Google Research otkriva dva mehanizma kojima reasoning trace poboljšava dohvat činjenica pohranjenih u težinama modela — computational buffer i factual priming — testirano na Gemini 2.5 i Qwen3-32B.
Ovaj članak generiran je uz pomoć umjetne inteligencije na temelju primarnih izvora.
Zašto modeli zaboravljaju ono što znaju?
Veliki jezični modeli pohranjuju goleme količine znanja u svoje težine — tzv. parametarsko znanje (činjenice ukodirane izravno u parametre modela, bez pristupa vanjskim bazama). No korisnici redovito primjećuju da modeli haluciniraju čak i o podacima na kojima su trenirani. Google Research sada objašnjava zašto — i kako reasoning trace mijenja jednačinu.
Dva mehanizma koja mijenjaju dohvat znanja
Google Research identificirao je dva odvojena mehanizma kojima koraci razmišljanja (reasoning trace — niz međukoraka koje model ispisuje prije konačnog odgovora) poboljšavaju dohvat parametarskog znanja.
Computational buffer funkcionira na razini računalne kapacitete: svaki dodatni forward pass kroz mrežu daje modelu više prostora za pretragu znanja. Ključna demonstracija — čak i besmisleni „filler” tekst poput „Let me think…” poboljšava točnost, jer produžuje procesiranje bez semantičkog sadržaja.
Factual priming djeluje sadržajno: model usred razmišljanja iznosi povezane međučinjenice koje po principu spreading activation aktiviraju točan konačni odgovor. Mehanizam je analogan tome kako čovjek pamti ime kroz asocijacijski lanac.
Rezultati na Gemini 2.5 i Qwen3-32B
Istraživanje je provedeno na modelima Gemini 2.5 Flash, Gemini 2.5 Pro i Qwen3-32B koristeći benchmarke SimpleQA Verified i EntityQuestions — skupove dizajnirane da mjere točnost faktografskih odgovora iz parametarskog znanja.
Ključni nalaz: jedna halucinirana međučinjenica u reasoning traceu značajno ruši točnost konačnog odgovora, čak i kada je ostatak razmišljanja ispravan. To objašnjava zašto modeli koji misle naglas ponekad griješe više nego kraći modeli — loša međustepenica može „priming” usmjeriti u krivom smjeru.
Što ovo znači za praksu
Nalaz ima praktičnu implikaciju: za aplikacije koje ovise o faktografskoj točnosti, duljina i kvaliteta reasoning traceova nije ornament nego kritični faktor. Dizajneri promptova i sustava trebaju paziti na to koje međučinjenice model iznosi — a ne samo na konačni odgovor.
Česta pitanja
- Što je parametarsko znanje i zašto je teško dohvatiti ga?
- Parametarsko znanje su činjenice ukodirane izravno u težine modela tijekom treninga, bez pristupa vanjskoj bazi podataka. Dohvat je nepouzdan jer model mora aktivirati prave neuronske puteve samo na temelju upita.
- Kako computational buffer pomaže modelu da se sjeti točnih podataka?
- Svaki dodatni forward pass kroz mrežu — čak i s besmislenim tekstom poput 'Let me think' — daje modelu više računalne kapacitete za pretragu znanja, slično kao da čovjek uzme trenutak za razmišljanje.
Povezane vijesti
arXiv:2606.25325: OPPO — RL okvir koji nauči AI čitati emocije iz glasa, lica i teksta odjednom
arXiv:2606.24510: RaDaR — specijalizirani 32B reasoning LLM ubrzava dijagnozu rijetkih bolesti u RCT-u
arXiv:2606.24014: RL treniranje na zdravstvenom domenu prenosi usklađenost na 80%+ OOD benchmarka