arXiv:2606.18021: LegalHalluLens zeigt, dass 52 % Halluzinationsdurchschnitt im Rechts-KI 38 Punkte Unterschied verbirgt

Das neue Preprint LegalHalluLens zeigt, dass durchschnittliche Halluzinationsraten in Rechts-KI irreführend sind, weil sie große Unterschiede zwischen Fehlertypen verbergen.

Halluzinations-Profiling nach Typ

LegalHalluLens führt „Typed Hallucination Profiling” ein — die Klassifizierung von Halluzinationen in vier Kategorien: numerisch, zeitlich, verpflichtungs-/rechtsbezogen und faktisch. Die Analyse wurde auf CUAD-Daten durchgeführt, einem standardisierten Datensatz rechtlicher Verträge. Als Halluzination gilt hier eine Aussage, die das Modell als Tatsache präsentiert, die jedoch durch keine Quelle belegt ist.

Der Durchschnitt, der die Unterschiede verbirgt

Der Kernbefund ist, dass die aggregierte Rate von 52 % Halluzinationen einen Unterschied von 38–40 Prozentpunkten zwischen der besten und schlechtesten Kategorie desselben Modells verbirgt. Mit anderen Worten: Ein Modell kann bei einer Art von Aussagen zuverlässig und bei einer anderen sehr unzuverlässig sein — was in Sammelmetriken nicht sichtbar wird. Das Paper führt auch den Risk Direction Index (RDI) ein, einen Skalar, der zwischen Auslassungsverzerrung und Erfindungsverzerrung unterscheidet und eine „richtungsbewusste” Risikobeschaffung ermöglicht.

Wie lassen sich Falscherkennungen reduzieren?

Die vorgeschlagene kalibrierte Debattenpipeline verwendet agentische Skeptiker, die Aussagen anfechten, und reduziert dadurch Falscherkennungen um 45 %, während sie mit deutlich kleineren Modellen kommerzielle Qualität erreicht. Das auf dem AIWILD-Workshop bei ICML 2026 vorgestellte Paper ist praktisch für Rechtsteams, da es zeigt, dass gemittelte Zuverlässigkeitsmetriken für die Risikobewertung nicht ausreichen.