ArXiv: Konforme Vorhersage deckt versteckte Unzuverlässigkeit von LLM-Richtern auf

Manan Gupta und Dhruv Kumar veröffentlichten am 16. April 2026 das Paper “Diagnosing LLM Judge Reliability: Conformal Prediction Sets and Transitivity Violations”, das die Analyse der Zuverlässigkeit von LLM-as-a-Judge-Systemen auf eine tiefere Ebene hebt. Während sich die meisten Forschungsarbeiten auf aggregierte Zuverlässigkeitsmetriken konzentriert haben, untersucht diese Studie als erste systematisch die Per-Instanz-Zuverlässigkeit — für jedes einzelne Dokument separat.

Was ist Transitivität und warum ist sie wichtig?

Transitivität ist eine grundlegende logische Eigenschaft der Ordnung: Wenn ein LLM-Richter sagt, dass Antwort A besser als B ist und B besser als C ist, dann muss A besser als C sein. Wenn dies nicht gilt, sprechen wir von einem gerichteten 3-Zyklus — einem Zyklus, in dem A > B, B > C, aber C > A gilt, was für einen konsistenten Evaluator formal unmöglich ist.

Die Autoren haben gemessen, wie oft diese Verletzungen bei echten LLM-Richtern auftreten. Die Ergebnisse wirken zunächst unbesorgniserregend: Die aggregierten Verletzungsraten sehen niedrig aus, zwischen 0,8 und 4,1 Prozent. Nach diesem Maßstab erscheinen LLM-Richter zuverlässig.

Doch als die Forscher untersuchten, wie viele Dokumente mindestens eine Transitivitätsverletzung aufweisen, ändert sich das Bild dramatisch: Zwischen 33 und 67 Prozent der Dokumente haben mindestens einen 3-Zyklus in ihren Vergleichen. Mit anderen Worten: Mehr als ein Drittel aller Dokumente weist irgendwo logisch unmögliche Urteile auf.

Konforme Vorhersage als Diagnosewerkzeug

Die Studie führt eine neue Methodik ein, die auf Split Conformal Prediction-Verteilungsmengen für Likert-Bewertungen von 1 bis 5 basiert. Der Vorteil ist, dass diese Mengen eine theoretisch garantierte Abdeckung haben — bei einem gegebenen Konfidenzniveau (1-α) fällt die tatsächliche Bewertung mit garantierter Wahrscheinlichkeit in die Menge.

Hauptergebnis: Die Breite der Vorhersagemenge korreliert mit der tatsächlichen Per-Instanz-Zuverlässigkeit mit einem Spearman-Koeffizienten r_s = +0,576 bei einer Stichprobe von 1.918 Dokumenten und einem p-Wert unter 10^-100. Mit anderen Worten: Wenn die Menge breit ist, ist der Richter bei diesem spezifischen Dokument unsicher — und dies kann formal gemessen werden.

Bewertungskriterien sind nicht gleich

Die Studie hat die Zuverlässigkeit über verschiedene Kriterien hinweg gemessen und eine klare Hierarchie festgestellt:

1. Relevanz — durchschnittliche Mengengröße ~3,0 (am zuverlässigsten)
2. Kohärenz — durchschnittliche Mengengröße ~3,9 (moderat)
3. Flüssigkeit und Konsistenz — durchschnittliche Mengengröße ~4,9 (unzuverlässig)

Das bedeutet, dass wenn ein LLM-Richter die Flüssigkeit oder Konsistenz einer Antwort bewertet, seine Urteile erheblich weniger zuverlässig sind als bei der Bewertung der Relevanz.

Praktische Implikationen

Die Breite der Vorhersagemenge zeigt eine konsistente Korrelation über verschiedene Richter hinweg (r̄ = 0,32–0,38), was bedeutet, dass es sich um die Schwierigkeit des Dokuments selbst handelt und nicht um Rauschen, das für einen bestimmten Richter spezifisch ist. Die Autoren schlussfolgern, dass es wichtiger ist, welchen Kriterientyp Sie bewerten, als welchen konkreten LLM Sie als Richter wählen.

Zusammen mit der parallelen Studie Context Over Content desselben Autors (Manan Gupta) signalisiert dieses Paper, dass das LLM-as-a-Judge-Paradigma überdacht werden muss — sowohl hinsichtlich der Verzerrung als auch hinsichtlich der Zuverlässigkeit einzelner Urteile. Beide Studien befinden sich derzeit in der Begutachtung.