arXiv:2607.14791: Transcoder zeigen, wie Täuschung in den internen Schaltkreisen des Sprachmodells Qwen3-4B entsteht

Wie lässt sich eine Lüge im Inneren eines Sprachmodells „sehen”?

Darius Lim, Nathan Leow und Xin Wei Chia verwenden Per-Layer-Transcoder (PLT) — ein Interpretierbarkeitswerkzeug, das die internen Aktivierungen jeder Modellschicht in verständliche, einzelne Merkmale zerlegt — am Modell Qwen3-4B, einem Sprachmodell mit 4 Milliarden Parametern. Ziel ist es, täuschendes Verhalten auf der Ebene von „Circuits” zu verfolgen, den internen Schaltkreisen, durch die Information vom Input zum Output wandert.

Ein Vokabular der Täuschung

Das Team baut Attribution Graphs (Graphen, die zeigen, wie einzelne Merkmale zum finalen Output des Modells beitragen) und identifiziert darin ein eigenes „Vokabular” täuschungsbezogener Merkmale — eine Reihe interner Signale, die täuschende Aussagen durchgängig begleiten. Feature Steering, also die manuelle Steuerung der Aktivierung dieser Merkmale, erzeugt vorhersehbare Verschiebungen zwischen täuschenden und nicht täuschenden Antworten desselben Modells.

Warum es interessant ist

Das Ergebnis zeigt, dass Täuschung nicht diffus ist, sondern aus konkreten, isolierten Mechanismen innerhalb des Netzwerks entsteht. Das eröffnet Transcodern einen Weg als Werkzeug für Behavioral Monitoring (die Verfolgung des Modellverhaltens in Echtzeit) und die frühe Erkennung von Sicherheitsrisiken, noch bevor eine täuschende Antwort überhaupt generiert wird.