arXiv:2605.25603: CIE-Scorer erkennt, wenn das Kettenschlussdenken von LLMs falsch dargestellt wird

Welches Problem löst CIE-Scorer?

Xu Shen, Zhen Tan, Song Wang, Pingjun Hong, Rui Miao, Xin Wang und Tianlong Chen stellten CIE-Scorer vor — ein Framework zur Erkennung ungetreuer Gedankenketten (Chain-of-Thought, CoT) in großen Sprachmodellen (LLMs).

Chain-of-Thought (CoT) ist eine Technik, bei der ein LLM-Modell aufgefordert wird, vor der endgültigen Antwort eine schrittweise Begründung zu schreiben. Das Problem: Diese sichtbare Begründung muss nicht zwingend den tatsächlichen Berechnungsprozess des Modells widerspiegeln — das Modell kann eine Logik anzeigen, während es tatsächlich eine andere verwendet. Solche Fehldarstellungen erschweren die Interpretierbarkeit und das Vertrauen in KI-Systeme.

Wie funktioniert CIE-Scorer und was unterscheidet ihn von bisherigen Methoden?

Bisherige Methoden zur Erkennung ungetreuer CoT-Spuren stützten sich hauptsächlich auf externe Signale wie textuelle Überzeugungskraft. CIE-Scorer (Circuit-guided Internal-External discrepancy Scorer) integriert mechanistische Interpretierbarkeit — Analyse der internen Berechnungsstrukturen des Modells — mit externer Reasoning-Analyse.

Konkret gilt für CIE-Scorer:

• Erstellt kompakte Schaltkreise aus wichtigen Reasoning-Tokens auf Satzebene, anstatt kostspieliger vollständiger Schaltkreise des gesamten Modells
• Entwickelt interne und externe Reasoning-Graphen, die darstellen, wie das Modell intern Informationen verarbeitet
• Misst Divergenz zwischen diesen Graphen mittels Fused Gromov-Wasserstein-Distanz (ein mathematisches Maß für den Unterschied zwischen Graphenstrukturen)
• Arbeitet auf Instanzebene — für jede Stichprobe separat, ohne kostspielige Aggregatstatistiken

Was sind die Ergebnisse und warum sind sie für die KI-Entwicklung wichtig?

CIE-Scorer erzielt State-of-the-Art-Ergebnisse auf vier Datensätzen der FaithCoT-Bench-Benchmark-Sammlung bei deutlich niedrigeren Rechenkosten als vorherige Methoden, vor allem weil kompakte statt vollständiger Schaltkreise verwendet werden (die bei großen Modellen rechenintensiv zu erstellen sind).

Die Fähigkeit, ungetreue CoT-Spuren zuverlässig zu erkennen, ist entscheidend für den Einsatz von LLMs in Hochrisiko-Szenarien, wo Transparenz und Überprüfbarkeit von Begründungen unerlässlich sind — beispielsweise in Medizin, Recht oder Finanzen.