arXiv:2606.09700: Typografische Angriffe umgehen KI-Moderationssysteme bei unter 1 % Erkennungsrate

Forscher der University of Tennessee, IBM Research und der University of Illinois stellten die Arbeit arXiv:2606.09700, v1 vom 8. Juni 2026, vor, die eine neue Klasse von Angriffen auf Inhaltsmoderierungssysteme definiert. Die Methode — auf USENIX Security 2026 akzeptiert — basiert ausschließlich auf typografischer Textmanipulation, ohne die semantische Botschaft zu ändern und ohne Zugriff auf interne Parameter des Moderationsmodells.

Was sind HPAA-Angriffe?

HPAA (Human-Perceptible Adversarial Attacks) sind Angriffe, die Leerzeichen, Betonungen und räumliche Textanordnung — sichtbare typografische Elemente — nutzen, um schädlichen Inhalt vor automatischen Detektoren zu verbergen und dabei für Menschen leicht lesbar zu bleiben. Im Gegensatz zu klassischen adversarialen Perturbationen auf Pixel-Ebene oder versteckten Unicode-Tokens sind HPAA-Manipulationen klar wahrnehmbar: Ein Leser dekodiert die Botschaft mühelos, während das Moderationssystem den Inhalt als sicher klassifiziert.

Testergebnisse: 13 Systeme, 86 %, unter 1 %

Die Autoren — Qin Yang, Lu Malloy, Joshua Lee, Xiaohan Chang, Meisam Mohammady, Doowon Kim und Yuan Hong — testeten die Methode an 13 kommerziellen und Open-Source-Inhaltsmoderierungssystemen:

• >86 % menschliche Erkennbarkeit — Evaluierungspanels identifizieren schädliche Inhalte korrekt, auch in typografisch modifizierter Form
• <1 % Erkennungsrate — automatische Moderatoren erkennen den Angriff praktisch nicht
• Nur 3 Abfragen an den Detektor — Black-Box-Ansatz ohne Gradienteninformationen

Der Vergleich ist eindeutig: Denselben Text, den der Algorithmus als sicher einstuft, erkennt ein Mensch in mehr als 86 von 100 Fällen als schädlich. Die Lücke zwischen maschineller Erkennung und menschlicher Wahrnehmung wurde bisher nicht mit dieser Präzision quantifiziert.

Warum sehen KI-Moderatoren die manipulierte Typografie nicht?

Die Ursache liegt in der architektonischen Asymmetrie zwischen LLM und dem visuellen System des Menschen. LLM-Tokenisierung zerlegt Text nach statischen Regeln in Teilfolgen und verfügt über keine visuelle Wahrnehmungsschicht, mit der das Gehirn automatisch die beabsichtigte Bedeutung manipulierten Textes rekonstruiert. Ein Leerzeichen oder unerwarteter Zeilenumbruch, den ein Angreifer zwischen Buchstaben einfügt, ändert die Semantik für den Leser nicht, stört aber das Tokenisierungsmuster, das der Moderator zur Erkennung verwendet.

Die Autoren kommen zu dem Schluss, dass alleiniges Feinabstimmen bestehender Moderatoren nicht ausreicht: Eine dauerhafte Lösung erfordert eine visuelle Vorverarbeitungsschicht oder Tokenisierungsschemas, die robust gegenüber typografischem Rauschen sind.