arXiv:2606.07963: Gemeinsame latente Struktur ermoeglicht einheitliche Backdoor-Erkennung in LLMs

arXiv veroeffentlichte am 6. Juni 2026 eine Arbeit (Kennung arXiv:2606.07963, Version v1), die einen gemeinsamen latenten Mechanismus ueber verschiedene Backdoor-Angriffe auf grosse Sprachmodelle hinweg aufdeckt. Der Befund ermoeglicht einen einheitlichen Ansatz zur Erkennung statt getrennter Verteidigungen fuer jeden Angriffstyp.

Was ist die gemeinsame latente Backdoor-Struktur?

Eine Backdoor ist ein verstecktes, boesartiges Verhalten, das im Modell unter bestimmten Bedingungen aktiviert wird. Bisher wurde jeder Angriffstyp getrennt betrachtet, doch diese Arbeit zeigt, dass verschiedene Backdoors eine gemeinsame latente (verborgene) Struktur innerhalb des Modells teilen.

Das bedeutet, dass die Angriffe, so verschieden sie an der Oberflaeche auch aussehen, in den internen Repraesentationen des Modells eine aehnliche Spur hinterlassen. Genau diese gemeinsame Spur eroeffnet die Moeglichkeit einer einheitlichen Erkennung.

Wie decken Sparse Autoencoder Angriffe auf?

Zur Aufdeckung der Struktur verwenden die Autoren Sparse Autoencoder (SAE) — Netze, die Eingaberepraesentationen in spaerliche, interpretierbare Merkmale zerlegen. Diese SAEs erkennen konsistente Feature-Aktivierungen bei mehreren Angriffstypen.

Zu den abgedeckten Angriffen gehoeren Jailbreaking, Refusal-Manipulation, Password-Locking, Bias-Induktion, Sentiment-Fehlklassifikation und country-conditioned schaedliche Ratschlaege. Trotz ihrer Vielfalt treten dieselben Merkmale als gemeinsamer Indikator fuer das Vorhandensein einer Backdoor auf.

Ueber welche Modelle generalisieren die Merkmale?

Die entdeckten Merkmale bleiben nicht an ein einzelnes Modell gebunden. Sie generalisieren ueber Qwen3, Gemma 3 und Llama 3.1, in einem Bereich von 4B bis 32B Parametern. Das zeigt, dass das Muster ueber verschiedene Modellfamilien und -groessen hinweg robust ist.

Die Generalisierung gilt auch ueber verschiedene Angriffsmechanismen hinweg — sowohl Fine-Tuning als auch Weight-Editing (das direkte Bearbeiten der Gewichte). Damit wird bestaetigt, dass die gemeinsame Struktur kein Artefakt einer einzelnen Methode des Einschleusens einer Backdoor ist.

Wie wurde die Kausalitaet nachgewiesen?

Um zu zeigen, dass die Merkmale das Backdoor-Verhalten wirklich verursachen, verwenden die Autoren bidirektionales Activation Steering (das Steuern von Aktivierungen in beide Richtungen). Das Unterdruecken eines Merkmals senkt die Attack Success Rate (die Erfolgsrate des Angriffs), waehrend das Verstaerken desselben Merkmals das gezielte Verhalten induziert.

Dieses bidirektionale Experiment unterscheidet Kausalitaet von blosser Korrelation. Da eine Aenderung des Merkmals das Verhalten des Modells direkt veraendert, ist klar, dass es sich um eine echte Ursache und nicht um einen zufaelligen Zusammenhang handelt.

Wie effektiv sind die Klassifikatoren?

Auf Basis der entdeckten Merkmale bauen die Autoren leichtgewichtige SAE-Feature-Klassifikatoren. Diese erreichen eine Zero-Shot-Generalisierung auf ungesehene Backdoors, was bedeutet, dass sie Angriffe erkennen, auf die sie nicht ausdruecklich trainiert wurden.

Diese Klassifikatoren uebertreffen Baseline-Ansaetze, die auf dem Residual-Stream und Weight-Diffing (dem Vergleich von Gewichten) beruhen. Damit bietet die Arbeit ein praktisches, uebertragbares Werkzeug zur Verteidigung gegen ein breites Spektrum von Backdoor-Angriffen und nicht nur gegen die im Voraus bekannten.