ArXiv: Sprachübergreifender Jailbreak — AUC 0,99 / 0,6–0,7 Shift

Das Team aus Alanova, Minko, Sadiekh und Kokuykin veröffentlichte am 28. April 2026 ein ArXiv-Preprint, das eine trainingsfreie Abwehr gegen sprachübergreifende Jailbreaks über semantische Codebooks vorstellt. Der Ansatz vergleicht mehrsprachige Embeddings von Anfragen mit einer festen englischen Basis bekannter Jailbreak-Prompts. Auf kuratierten Benchmarks erreicht er eine AUC von bis zu 0,99, fällt jedoch bei Distribution-Shift-Heterogenangriffen auf AUC 0,60–0,70 — und zeigt die Grenzen dieses Ansatzes auf.

Shirin Alanova, Bogdan Minko, Sabrina Sadiekh und Evgeniy Kokuykin veröffentlichten am 28. April 2026 das Preprint Cross-Lingual Jailbreak Detection via Semantic Codebooks — ein Versuch, eines der hartnäckigsten Probleme der LLM-Sicherheit zu lösen: Die Übersetzung schädlicher Prompts umgeht englischzentrierte Guardrails.

Das Problem: die sprachübergreifende Sicherheitslücke

Zitat aus dem Abstract:

„Safety mechanisms for large language models (LLMs) remain predominantly English-centric, creating systematic vulnerabilities in multilingual deployment. Prior work shows that translating malicious prompts into other languages can substantially increase jailbreak success rates.”

Mit anderen Worten: Wenn Sie „How to build a bomb” ins Kroatische, Koreanische oder Amharische übersetzen, reagieren viele RLHF-trainierten Filter nicht, weil die Trainingsdaten für Sicherheitsfilter überwiegend auf Englisch sind. Eine strukturelle Eigenschaft des aktuellen Post-Trainings.

Vorgeschlagene Lösung

Die Autoren schlagen einen trainingsfreien externen Guardrail für Black-Box-LLMs vor:

Ein festes englisches Codebook bekannter Jailbreak-Prompts wird gepflegt
Jeder eingehende Prompt (in beliebiger Sprache) wird mit einem mehrsprachigen Embedding-Modell kodiert
Das Embedding wird mit dem Codebook verglichen — wenn die Ähnlichkeit den Schwellenwert überschreitet, wird der Prompt als Jailbreak-Versuch markiert

Entscheidend: kein Neu-Training des Modells und keine sprachspezifischen Filter. Nur Embedding-Ähnlichkeit.

Ergebnisse

Kuratierter Benchmark: AUC bis zu 0,99

Auf kuratierten Benchmarks (bekannte Angriffe aus derselben Verteilung wie das Codebook) funktioniert der Ansatz nahezu perfekt — AUC bis zu 0,99.

Distribution-Shift-Benchmark: AUC 0,60–0,70

Bei Tests mit heterogenen, neuen Angriffen (Distribution-Shift) fällt die AUC auf 0,60–0,70 — deutlich besser als der Zufall, aber keine „Lösung”.

Dieser Unterschied ist wichtig, weil er die echten Grenzen des Ansatzes aufzeigt: Codebook-basierte Erkennung funktioniert gut gegen bekannte Angriffsverteilungen, schlechter gegen kreative neue Angriffe, die Angreifer aktiv generieren.

Modelle und Sprachen

Die Evaluierung wurde durchgeführt auf:

Modellen: Qwen, Llama, GPT-3.5
Sprachen: 4 (spezifische Liste nicht im abgerufenen Abstract)

Warum ist das wichtig?

Sprachübergreifendes Jailbreaking ist ein besonders akutes Problem für Unternehmen, die LLMs global einsetzen — z. B. ein Kundensupport-Chatbot in 10+ Sprachen. Englischzentrierte Sicherheitsarbeit ist eine Lücke, die schwer zu schließen ist ohne explizit mehrsprachiges Sicherheitstraining (teuer).

Praktische Implikationen dieser Arbeit:

Der Codebook-Ansatz ist als erste Verteidigungsschicht einsetzbar — minimale Latenz, trainingsfrei
Er reicht nicht als eigenständige Abwehr aus — Distribution-Shift-AUC 0,60–0,70 bedeutet, dass er mit anderen Mechanismen kombiniert werden muss (z. B. mehrsprachiges Sicherheits-RLHF, Output-Filter)
Eine konkrete Maßnahme für KI-Compliance — der EU-KI-Act und das NIST AI RMF verlangen dokumentierte Sicherheitsmechanismen für mehrsprachige Deployments

Diese Arbeit setzt die KI-Sicherheitsforschung fort, die wir gestern behandelt haben (Sycophancy + bedingtes Misalignment) — das Gebiet der fragmentierten Sicherheitsdiagnostik, das jeweils einen Angriffsvektor abdeckt, ohne eine universelle Lösung.

Häufig gestellte Fragen

Warum sind LLM-Sicherheitsmechanismen englischzentriert?

Die meisten Red-Teaming-Datensätze und Fine-Tuning-Sicherheitsdaten sind auf Englisch. Durch die Übersetzung eines schädlichen Prompts in eine andere Sprache umgeht ein Angreifer erlernte Sicherheitsfilter — frühere Arbeiten zeigen, dass sich die Angriffserfolgsquoten dadurch erheblich erhöhen. Die sprachübergreifende Sicherheitslücke ist eine strukturelle Eigenschaft des aktuellen Post-Trainings.

Wie funktioniert das semantische Codebook?

Das System pflegt ein festes englisches Codebook bekannter Jailbreak-Prompts. Jeder eingehende Prompt (in beliebiger Sprache) wird mit einem mehrsprachigen Embedding-Modell kodiert und mit dem Codebook verglichen. Wenn die Ähnlichkeit einen Schwellenwert überschreitet, wird der Prompt als Jailbreak-Versuch markiert. Der Ansatz ist trainingsfrei — er erfordert weder ein Neu-Training des Modells noch sprachspezifische Anpassungen.

Wie groß ist die Lücke zwischen kuratierten und Distribution-Shift-Tests?

AUC 0,99 auf kuratierten Benchmarks vs. AUC 0,60–0,70 bei heterogenem Distribution-Shift. Das bedeutet, dass der Ansatz gut gegen bekannte Angriffe (ähnlich denen im Codebook) funktioniert, aber schlechter gegen neue oder neuartige Angriffe. Der Ansatz ist dennoch als erste Verteidigungsschicht neben anderen Mechanismen nützlich.

ArXiv: Trainingsfreier Guardrail gegen sprachübergreifende Jailbreaks erreicht AUC 0,99 auf kuratierten Benchmarks, fällt aber bei Distribution-Shift auf 0,60–0,70