arXiv:2605.27567: Matematički dokazano zašto LLM-i ne mogu naučiti kauzalnost — i kako A-CBO agentno rješenje zaobilazi inherentno ograničenje

Istraživači Amartya Roy i Sonali Parbhoo objavili su preprint koji matematički dokazuje temeljno ograničenje standardnih metoda strojnog učenja u kontekstu otkrivanja kauzalnih veza — i predlažu agentno rješenje koje zaobilazi tu inherentnu prepreku.

Zašto ni fine-tuning ni in-context learning ne mogu naučiti kauzalnost?

Kauzalno otkrivanje (causal discovery) je zadatak identifikacije uzročno-posljedičnih veza iz podataka. Dok LLM modeli pokazuju impresivne sposobnosti u korelacijskim zadacima, njihova uspješnost u kauzalnim zadacima se pogoršava kako raste kompleksnost grafa — i dosad nije bila poznata formalna teorijska osnova tog ograničenja.

Istraživači to sada matematički dokazuju kroz Kernel Obstruction Theorem: metode poput supervised fine-tuninga (SFT), direct preference optimization (DPO) i in-context learninga (ICL) produkciraju prediktore koji ne mogu razlikovati kauzalne grafove koji generiraju slične observacijske podatke. Kritičan zaključak: ograničenje je inherentno paradigmi učenja, ne bilo kojemu specifičnom modelu ili skupu podataka.

Što je A-CBO i kako rješava kernel problem?

A-CBO (Agentic Causal Bayesian Optimization) je predloženo agentno rješenje koje restrukturira problem zaobilazeći kernelsku zapreku. Arhitektura se oslanja na tri komponente:

Zamrznuti LLM koristi se kao interventni oracle koji odgovara na ciljana pitanja o intervencijama — “što bi se dogodilo kad bismo promijenili varijablu X?”. LLM se ne trenira za kauzalno zaključivanje; umjesto toga, LLM nudi kontekstualne procjene intervencijskog ishoda.

Vanjska Bayesova optimizacijska petlja prima te procjene i sistemski koncentrira uvjerenja oko kandidatnih kauzalnih grafova, eliminiranjem onih koji ne zadovoljavaju observirane rezultate intervencija.

Ovaj dizajn zaobilazi kernelsku zapreku premještanjem donošenja odluka o kauzalnim grafovima izvan problematičnog prostora reprezentacija LLM-a, u deterministički Bayesov okvir koji može konvergirati u logaritamski mnogo koraka.

Koji su eksperimentalni rezultati A-CBO-a?

Istraživači su testirali A-CBO na dvama benchmarkovima za kauzalno zaključivanje. Na originalnom Corr2Cause benchmarku, A-CBO postiže rezultate usporedive s fine-tuned baseline modelima — bez ikakve obuke.

Na Extended Corr2Cause benchmarku s grafovima od 24 varijable i skupom od 18.000 testnih uzoraka, A-CBO nadmašuje i fine-tuning i preference optimization. Performanse rastu s kompleksnošću grafa, što je suprotno od opadajuće krivulje standardnih LLM pristupa.

Nalaz ima direktne implikacije za izgradnju AI agenata koji trebaju razumjeti uzroke — od medicinskih dijagnoza do robotike i scientifičnog otkrivanja — gdje korelacijski zaključci nisu dovoljni za pouzdane odluke.