Text-to-SQL-Benchmark-Studie: 4 KB Semantic Layer fügt 17–23 Prozentpunkte Genauigkeit hinzu, Modellwahl entscheidet nicht

Michael Rumiantsau und Ivan Fokeev veröffentlichten am 28. April 2026 das ArXiv-Preprint Semantic Layers for Reliable LLM-Powered Data Analytics: A Paired Benchmark of Accuracy and Hallucination Across Three Frontier Models. Die Studie stellt eine einfache, aber wirkungsvolle Frage: Wie viel „kommt es auf das Modell an” im Vergleich dazu, wie viel der Kontext (Semantic Layer) bei der Text-to-SQL-Genauigkeit zählt?

Versuchsaufbau

Die Autoren testen drei Frontier-Modelle: Claude Opus 4.7, Claude Sonnet 4.6 und GPT-5.4. Der Benchmark besteht aus 100 natürlichsprachlichen Fragen, die in SQL-Abfragen über den Cleaned Contoso Retail Dataset in ClickHouse übersetzt werden. Jedes Modell durchläuft zwei Runden: einmal ohne Semantic Layer und einmal mit einem 4 KB Markdown-Dokument, das „Maßzahlen, Konventionen und Disambiguierungsregeln” für den Datensatz beschreibt.

Ergebnisse

Die Ergebnisse sind überraschend eindeutig:

• Ohne Semantic Layer: 45,5 %–50,5 % Genauigkeit bei allen drei Modellen
• Mit Semantic Layer: 67,7 %–68,7 % Genauigkeit bei allen drei Modellen
• Verbesserung: +17 bis +23 Prozentpunkte

Innerhalb jeder der beiden Konfigurationen sind Modelle statistisch ununterscheidbar. Mit anderen Worten: Opus 4.7 ist nicht signifikant besser als Sonnet 4.6 oder GPT-5.4, wenn sie denselben Kontext verwenden.

Die Hauptaussage

Zitat der Autoren: „The presence of the semantic-layer document accounts for essentially all of the significant variance; model choice within tier does not.”

Für die Enterprise-Praxis ist die Botschaft klar: Ein besseres Frontier-Modell innerhalb desselben Tiers wird keine bessere Datensatzdokumentation ersetzen. Ein 4-KB-Markdown mit Metrik-Definitionen, Namenskonventionen und Homonym-Disambiguierungsregeln liefert 17–23 Prozentpunkte — das ist bedeutsamer als jedes Modell-Upgrade innerhalb des Tiers.