arXiv:2605.27567: LLMが因果関係を学習できない数学的証明——A-CBOエージェントソリューションが固有の制限を回避する方法

研究者Amartya RoyとSonali Parbhooは、因果関係の発見という文脈での標準的な機械学習手法の根本的な制限を数学的に証明し、その固有の障壁を回避するエージェントソリューションを提案するプレプリントを発表した。

なぜファインチューニングもin-context learningも因果関係を学習できないか？

因果発見（causal discovery）はデータから因果関係を特定するタスクである。LLMモデルは相関タスクにおいて印象的な能力を示す一方、因果タスクでのパフォーマンスはグラフの複雑性が増すにつれて悪化する——そしてこの制限の正式な理論的基盤はこれまで知られていなかった。

研究者はこれをKernel Obstruction Theoremを通じて数学的に証明している：supervised fine-tuning（SFT）、direct preference optimization（DPO）、in-context learning（ICL）などの手法は、類似した観測データを生成する因果グラフを区別できない予測器を生み出す。重要な結論として：この制限は学習パラダイム自体に固有のものであり、特定のモデルやデータセットに由来するものではない。

A-CBOとは何か、どのようにカーネル問題を解決するか？

**A-CBO（Agentic Causal Bayesian Optimization）**は、カーネル障壁を回避して問題を再構成するエージェントソリューションとして提案されている。アーキテクチャは3つのコンポーネントに依存している。

凍結されたLLMは、介入オラクルとして使用され、介入に関する特定の質問に答える——「変数Xを変更したらどうなるか？」。LLMは因果推論のために訓練されるのではなく、介入結果の文脈的な推定を提供する。

外部のベイズ最適化ループはこれらの推定を受け取り、観測された介入結果を満たさないものを排除することで、候補因果グラフの周りに系統的に信念を集中させる。

このデザインは、因果グラフに関する意思決定をLLMの問題ある表現空間の外に移動させ、対数的なステップ数で収束できる決定論的なベイズフレームワークに委ねることで、カーネル障壁を回避する。

A-CBOの実験結果はどのようなものか？

研究者はA-CBOを因果推論の2つのベンチマークでテストした。元のCorr2Causeベンチマークでは、A-CBOはいかなる訓練なしにファインチューニングされたベースラインモデルと同等の結果を達成する。

24変数のグラフと18,000のテストサンプルのセットを含む拡張Corr2Causeベンチマークでは、A-CBOはファインチューニングと選好最適化の両方を上回る。パフォーマンスはグラフの複雑性とともに向上し、これは標準的なLLMアプローチの下降曲線とは逆である。

この発見は、医療診断からロボティクス、科学的発見まで——相関的な推論が信頼できる意思決定に十分でない领域で——原因を理解する必要があるAIエージェントの構築に直接的な影響を持つ。