arXiv:2605.27567: Mathematisch bewiesen, warum LLMs keine Kausalität lernen können — und wie die A-CBO-Agentenlösung die inhärente Einschränkung umgeht

Die Forscher Amartya Roy und Sonali Parbhoo veröffentlichten einen Preprint, der mathematisch eine grundlegende Einschränkung standardmäßiger Machine-Learning-Methoden im Kontext der Kausalentdeckung beweist — und schlagen eine Agentenlösung vor, die dieses inhärente Hindernis umgeht.

Warum können weder Fine-Tuning noch In-Context Learning Kausalität lehren?

Kausalentdeckung (Causal Discovery) ist die Aufgabe, Ursache-Wirkungs-Beziehungen aus Daten zu identifizieren. LLM-Modelle zeigen zwar beeindruckende Fähigkeiten bei Korrelationsaufgaben, aber ihre Leistung bei Kausalaufgaben verschlechtert sich mit zunehmender Graphkomplexität — und die formale theoretische Grundlage dieser Einschränkung war bisher unbekannt.

Die Forscher beweisen dies nun mathematisch durch den Kernel Obstruction Theorem: Methoden wie Supervised Fine-Tuning (SFT), Direct Preference Optimization (DPO) und In-Context Learning (ICL) produzieren Prädiktoren, die keine kausalen Graphen unterscheiden können, die ähnliche Beobachtungsdaten erzeugen. Der kritische Schluss: Die Einschränkung ist dem Lernparadigma inhärent, nicht einem spezifischen Modell oder Datensatz.

Was ist A-CBO und wie löst es das Kernelproblem?

A-CBO (Agentic Causal Bayesian Optimization) ist die vorgeschlagene Agentenlösung, die das Problem durch Umgehung der Kernel-Blockade neu strukturiert. Die Architektur stützt sich auf drei Komponenten:

Ein eingefrorenes LLM wird als interventionelles Orakel eingesetzt, das gezielte Fragen zu Interventionen beantwortet — „Was würde passieren, wenn wir Variable X ändern?”. Das LLM wird nicht für kausales Schlussfolgern trainiert; stattdessen liefert es kontextuelle Schätzungen von Interventionsergebnissen.

Eine externe Bayes’sche Optimierungsschleife empfängt diese Schätzungen und konzentriert systematisch Überzeugungen um Kandidaten-Kausal-Graphen, indem es solche eliminiert, die beobachtete Interventionsergebnisse nicht erfüllen.

Dieses Design umgeht die Kernel-Blockade, indem es die Entscheidungsfindung über kausale Graphen aus dem problematischen Repräsentationsraum des LLM in einen deterministischen Bayes’schen Rahmen verlagert, der in logarithmisch vielen Schritten konvergieren kann.

Was sind die experimentellen Ergebnisse von A-CBO?

Die Forscher testeten A-CBO auf zwei Benchmarks für kausales Schlussfolgern. Auf dem Original Corr2Cause-Benchmark erzielt A-CBO Ergebnisse, die mit Fine-Tuned-Baseline-Modellen vergleichbar sind — ohne jegliches Training.

Auf dem Extended Corr2Cause-Benchmark mit Graphen aus 24 Variablen und einem Satz von 18.000 Testproben übertrifft A-CBO sowohl Fine-Tuning als auch Preference Optimization. Die Leistung wächst mit der Graphkomplexität, was dem sinkenden Trend standardmäßiger LLM-Ansätze entgegengesetzt ist.

Der Befund hat direkte Implikationen für den Aufbau von KI-Agenten, die Ursachen verstehen müssen — von medizinischen Diagnosen bis hin zu Robotik und wissenschaftlichen Entdeckungen — wo Korrelationsschlüsse für zuverlässige Entscheidungen nicht ausreichen.