Google Research: Wie Denken das parametrische Wissen in LLMs erschließt

Warum vergessen Modelle, was sie wissen?

Große Sprachmodelle speichern enorme Wissensmengen in ihren Gewichten — sogenanntes parametrisches Wissen (Fakten, die direkt in die Modellparameter kodiert sind, ohne Zugriff auf externe Datenbanken). Dennoch beobachten Nutzer regelmäßig, dass Modelle selbst bei Daten halluzinieren, auf denen sie trainiert wurden. Google Research erklärt nun, warum — und wie Reasoning-Traces die Gleichung verändern.

Zwei Mechanismen, die den Wissensabruf verändern

Google Research hat zwei separate Mechanismen identifiziert, durch die Denkschritte (Reasoning-Trace — eine Reihe von Zwischenschritten, die das Modell vor der Endantwort niederschreibt) den Abruf parametrischen Wissens verbessern.

Computational Buffer wirkt auf der Ebene der Rechenkapazität: Jeder zusätzliche Forward-Pass durch das Netzwerk gibt dem Modell mehr Raum für die Wissenssuche. Die wichtigste Demonstration — selbst sinnloser „Filler”-Text wie „Let me think…” verbessert die Genauigkeit, da er die Verarbeitung ohne semantischen Inhalt verlängert.

Factual Priming wirkt inhaltlich: Das Modell bringt beim Denken verwandte Zwischenfakten hervor, die nach dem Prinzip der Spreading Activation die korrekte Endantwort aktivieren. Der Mechanismus ist analog dazu, wie ein Mensch einen Namen über eine Assoziationskette erinnert.

Ergebnisse bei Gemini 2.5 und Qwen3-32B

Die Studie wurde an den Modellen Gemini 2.5 Flash, Gemini 2.5 Pro und Qwen3-32B mit den Benchmarks SimpleQA Verified und EntityQuestions durchgeführt — Datensätzen, die die Genauigkeit faktografischer Antworten aus parametrischem Wissen messen.

Wichtigste Erkenntnis: Ein halluzinierter Zwischenfakt im Reasoning-Trace senkt die Genauigkeit der Endantwort erheblich, selbst wenn der Rest des Denkprozesses korrekt ist. Das erklärt, warum laut denkende Modelle manchmal mehr Fehler machen als kürzere Modelle — ein schlechter Zwischenschritt kann das Priming in die falsche Richtung lenken.

Praktische Bedeutung

Der Befund hat praktische Implikationen: Für Anwendungen, die auf faktografische Genauigkeit angewiesen sind, ist die Länge und Qualität von Reasoning-Traces kein Ornament, sondern ein kritischer Faktor. Prompt- und Systemdesigner sollten darauf achten, welche Zwischenfakten das Modell formuliert — und nicht nur auf die Endantwort.