arXiv:2605.18732: Skalierungsgesetz für Halluzinationen — größeres Modell bedeutet nicht zwingend weniger Fehler
Forscher testeten 38 Modelle an über 8.900 Referenzen und zeigten, dass der faktische Recall von LLMs einer Sigmoid-Kurve folgt: Parameteranzahl und Themenhäufigkeit in den Trainingsdaten erklären 60–94 % der Varianz. Halluzinationen sind nicht zufällig — sie sind vorhersehbar und messbar.
Dieser Artikel wurde mithilfe von künstlicher Intelligenz aus Primärquellen erstellt.
Halluzinationen sind vorhersehbar — mathematisch
Ein neues arXiv-Paper (2605.18732) liefert eine unbequeme, aber nützliche Schlussfolgerung: Confabulations (der von den Autoren bevorzugte Begriff statt „Halluzinationen”) sind keine zufälligen Fehler. Es handelt sich um vorhersehbare Phänomene, die einem Skalierungsgesetz folgen — genau wie sprachliche Flüssigkeit oder Kontextverständnis.
Ein Forscherteam der Université du Luxembourg testete 38 Modelle an mehr als 8.900 wissenschaftlichen Referenzen und stellte fest, dass die Qualität des faktischen Recalls einer Sigmoid-Kurve in einer log-linearen Kombination zweier Faktoren folgt: der Parameteranzahl des Modells und der Häufigkeit des Themas in den Trainingsdaten.
Warum Sigmoid — und was bedeutet das in der Praxis?
Die Sigmoid-Funktion beschreibt den Übergang von „fast nie korrekt” zu „fast immer korrekt” über einen relativ engen Eingabebereich. Die Analogie: Ein Mensch erinnert sich an einen gerade gelesenen Satz nicht linear besser, je intelligenter er ist — es gibt eine Schwelle, unterhalb derer nichts hängenbleibt, und eine, oberhalb derer alles hängenbleibt.
Für LLMs bedeutet das: Ist ein Thema in den Trainingsdaten selten vertreten (z. B. eine obskure wissenschaftliche Arbeit), wird selbst ein großes Modell confabulieren — Autoren, Jahr und Schlussfolgerungen erfinden. Ein gut repräsentiertes Thema mit ausreichend Parametern hingegen gelangt in die „sichere Zone” der Sigmoid-Kurve. Die Autoren modellieren dies als Signal-Rausch-Verhältnis: Signal ist die Häufigkeit des Konzepts in den Daten, Rauschen ist das kapazitive Minimum des Modells, unterhalb dessen Recall nicht funktioniert.
Ist Confabulation dasselbe wie Halluzination?
Nicht ganz. Halluzination ist ein breiterer, halbformaler Begriff — er umfasst alle Situationen, in denen ein Modell Inhalte ohne Grundlage im Input oder in der Realität generiert. Confabulation (aus der Neuropsychologie entlehnt) beschreibt präziser das selbstsichere Auffüllen von Lücken — das Modell weiß nicht, dass es nichts weiß, und synthetisiert eine überzeugende, aber falsche Antwort. Das Paper verwendet diesen Begriff gerade weil er die Vorhersehbarkeit und Strukturiertheit des Fehlers betont, im Gegensatz zur Zufälligkeit.
Praktische Konsequenz: 60–94 % der Varianz in der faktischen Genauigkeit lassen sich durch zwei messbare Faktoren erklären. Das bedeutet, dass es möglich ist, das Halluzinationsrisiko für ein bestimmtes Thema vorab abzuschätzen — ohne das Modell für jede Anfrage neu testen zu müssen.
Häufig gestellte Fragen
- Was sind Konfabulationen im LLM-Kontext?
- Konfabulationen sind erfundene oder unzuverlässig abgerufene Fakten (Autoren, Jahre, Schlussfolgerungen), die LLMs produzieren, wenn ein Thema in den Trainingsdaten unterrepräsentiert ist. Die Autoren bevorzugen diesen Begriff.
- Warum eine Sigmoid-Kurve und nicht linearer Fehlerabfall?
- Das Sigmoid beschreibt Schwellenübergänge: Unterhalb einer bestimmten Themenhäufigkeit in den Trainingsdaten behalten selbst große Modelle nahezu nichts zuverlässig. Oberhalb der Schwelle erreicht der Recall schnell fast immer korrekt. Modellgröße allein reicht nicht — die Signal-Rausch-Kombination ist entscheidend.
- Welche praktischen Implikationen ergeben sich?
- Halluzinationen lassen sich vor der Inferenz vorhersagen, wenn Modellgröße und eine Schätzung der Themenhäufigkeit in den Trainingsdaten bekannt sind. Das öffnet die Tür für Confidence Routing — Systeme leiten Anfragen zu Nischenthemen an Werkzeuge mit externen Quellen weiter.