Training
Gedankenkette (Chain-of-Thought)
Eine Technik, bei der ein Sprachmodell vor der finalen Antwort eine Reihe von Zwischenschritten ausformuliert und so die Genauigkeit bei komplexen, mehrstufigen Aufgaben deutlich steigert.
Gedankenkette (Chain-of-Thought, CoT) ist eine Technik, bei der ein großes Sprachmodell vor der finalen Antwort eine Reihe von Zwischenschritten erzeugt — gewissermaßen „laut denkt”. Statt die Lösung sofort auszugeben, zerlegt das Modell das Problem in kleinere Schritte, was die Genauigkeit bei arithmetischen, logischen und mehrstufigen Aufgaben deutlich verbessert.
Beschrieben wurde die Technik 2022 von Forschern bei Google Brain (Wei et al.). In ihrer ursprünglichen Form ist sie eine Form des In-Context-Lernens: Der Prompt enthält durchgerechnete Beispiele, die die Denkschritte zeigen. Später zeigte sich, dass schon der Zusatz „lass uns Schritt für Schritt denken” ein Zero-Shot-CoT ganz ohne Beispiele auslöst.
Die Gedankenkette ist die Grundlage moderner Reasoning-Modelle wie der o1/o3-Reihe von OpenAI, DeepSeek R1 und Claude mit Extended Thinking, die CoT zwischen 2024 und 2026 von einem Prompting-Trick zu einer antrainierten Eigenschaft des Modells gemacht haben. Damit öffnete sich eine neue Skalierungsachse — mehr Rechenleistung bei der Inferenz im Tausch gegen Genauigkeit.