arXiv:2605.27773: Studie mit 8 LLM-Modellen zeigt: Chain-of-Thought-Reasoning ist zu 96 % dekorativ und beeinflusst Modellentscheidungen nicht

Ein Preprint von Pruthvinath Jeripitya Venkata stellt eine der grundlegenden Annahmen über Chain-of-Thought (CoT) Reasoning in großen Sprachmodellen (LLMs) in Frage: dass die vom Modell generierte explizite Reasoning-Kette tatsächlich seine Entscheidungsfindung steuert.

Was bedeutet es, dass CoT zu 96 % dekorativ ist?

Chain-of-Thought (CoT) Reasoning ist eine Technik, bei der einem Sprachmodell vorgegeben wird, seinen Denkprozess Schritt für Schritt zu verbalisieren, bevor es eine Antwort gibt. Die dahinterstehende Annahme ist, dass das sichtbare Reasoning den internen kognitiven Prozess des Modells getreu widerspiegelt.

Die Studie testet diese Annahme empirisch und findet das Gegenteil. Die Methodik basiert auf sogenannten „Flip-Paaren” — Situationen, in denen dasselbe Modell auf dieselbe Frage gegensätzliche Antworten gibt. Wenn CoT tatsächlich die Entscheidung antreibt, sollten Flip-Paare drastisch unterschiedliche Reasoning-Texte aufweisen.

Stattdessen zeigt die Studie, dass Flip-Paare 96 % CoT-Textähnlichkeit trotz gegensätzlicher Schlussfolgerungen behalten (ROUGE-L Score d=0,45). Explizites Reasoning wird fast unabhängig von der endgültigen Entscheidung generiert — CoT fungiert als „Wissensdarstellungsschicht”, die der Kommunikation dient, aber kein kausaler Entscheidungsmechanismus ist.

Welche Modelle wurden getestet und welches zeigt die Ausnahme?

Die Studie umfasste 200 Fragen und 8 Sprachmodelle unter 4 verschiedenen Prompt-Bedingungen. Modelle wurden in Wissenskonflikt-Szenarien getestet — Situationen, in denen ein Eingabedokument den Trainingsdaten widerspricht.

GPT-4o ist das einzige Modell, das eine statistisch zuverlässige Verbindung zwischen Reasoning und Entscheidungsfindung zeigt — die einzige positive Ausnahme im getesteten Satz. Claude Sonnet 4.6 zeigt die breiteste Konfidenzspanne, aber nahezu null Gesamtkorrelation zwischen CoT-Text und der endgültigen Entscheidung.

Warum enthüllen interne Thinking-Token Entscheidungen besser?

Ein statistisch signifikanter Befund: Interne Thinking-Token zeigen größere Empfindlichkeit gegenüber der Entscheidung als nutzerseitiger CoT-Text (p=0,033). Dies deutet darauf hin, dass eine Lücke zwischen dem besteht, was das Modell intern „denkt”, und dem, was es explizit als Reasoning verbalisiert.

Für Praktiker, die CoT zur Modellinterpretierbarkeit nutzen, empfehlen die Autoren: „Lesen Sie die Konfidenz, nicht das Argument.” Die explizite Reasoning-Kette repräsentiert möglicherweise nicht getreu, wie eine Entscheidung tatsächlich entsteht — insbesondere in Situationen, in denen Eingabedaten dem Trainingswissen widersprechen.