arXiv:2605.27567: LLM이 인과관계를 학습할 수 없는 이유 수학적 증명 — A-CBO 에이전트 솔루션이 고유한 한계를 우회하는 방법

연구자 Amartya Roy와 Sonali Parbhoo는 인과 관계 발견(causal discovery) 맥락에서 표준 기계 학습 방법의 근본적인 한계를 수학적으로 증명하고, 그 고유한 장벽을 우회하는 에이전트 솔루션을 제안하는 프리프린트를 발표했다.

파인튜닝도 in-context learning도 인과관계를 학습할 수 없는 이유는?

인과 발견(causal discovery)은 데이터에서 인과 관계를 식별하는 작업이다. LLM 모델이 상관관계 작업에서 인상적인 능력을 보이는 반면, 인과 작업에서의 성과는 그래프 복잡성이 증가할수록 악화된다 — 그리고 그 한계의 공식적인 이론적 근거는 지금까지 알려지지 않았다.

연구자들은 이제 Kernel Obstruction Theorem을 통해 수학적으로 증명한다. 지도 파인튜닝(SFT), direct preference optimization(DPO), in-context learning(ICL)과 같은 방법은 유사한 관찰 데이터를 생성하는 인과 그래프를 구별할 수 없는 예측기를 생성한다. 결정적인 결론: 이 한계는 어떤 특정 모델이나 데이터셋이 아닌 학습 패러다임 자체에 내재되어 있다.

A-CBO란 무엇이며 커널 문제를 어떻게 해결하는가?

**A-CBO(Agentic Causal Bayesian Optimization)**는 커널 장벽을 우회하여 문제를 재구성하는 제안된 에이전트 솔루션이다. 아키텍처는 세 가지 구성 요소에 의존한다.

동결된 LLM은 개입에 관한 목표 질문에 답하는 개입 오라클로 사용된다 — “변수 X를 변경하면 어떤 일이 일어날까?”. LLM은 인과 추론을 위해 훈련되지 않는다. 대신, LLM은 개입 결과에 대한 맥락적 추정을 제공한다.

외부 베이지안 최적화 루프는 이러한 추정을 받아 관찰된 개입 결과를 충족하지 않는 것을 제거하면서 체계적으로 후보 인과 그래프에 대한 신념을 집중시킨다.

이 설계는 인과 그래프에 대한 의사결정을 LLM의 문제적 표현 공간 밖으로 이동시켜 로그 단계 수로 수렴할 수 있는 결정론적 베이지안 프레임워크로 이전함으로써 커널 장벽을 우회한다.

A-CBO의 실험 결과는 어떠한가?

연구자들은 인과 추론을 위한 두 가지 벤치마크에서 A-CBO를 테스트했다. 원래의 Corr2Cause 벤치마크에서 A-CBO는 어떠한 훈련도 없이 파인튜닝된 기준선 모델과 비슷한 결과를 달성한다.

24개 변수 그래프와 18,000개 테스트 샘플로 구성된 Extended Corr2Cause 벤치마크에서 A-CBO는 파인튜닝과 선호도 최적화 모두를 능가한다. 성과는 그래프 복잡성과 함께 향상되며, 이는 표준 LLM 접근 방식의 하향 곡선과 반대다.

이 발견은 의료 진단에서 로보틱스, 과학적 발견에 이르기까지, 상관관계 추론만으로는 신뢰할 수 있는 결정을 내리기에 충분하지 않은 영역에서 원인을 이해해야 하는 AI 에이전트 구축에 직접적인 함의를 가진다.