arXiv:2606.09700: Tipografski napadi zaobilaze AI sustave za moderaciju uz manje od 1% detekcije

Istraživači sa Sveučilišta Tennessee, IBM Research i Sveučilišta Illinois predstavili su rad arXiv:2606.09700, v1 od 8. lipnja 2026., koji definira novu klasu napada na sustave za moderaciju sadržaja. Metoda — prihvaćena na USENIX Security 2026 — temelji se isključivo na tipografskoj manipulaciji teksta, bez promjene semantičke poruke i bez pristupa internim parametrima moderatorskog modela.

Što su HPAA napadi

HPAA (Human-Perceptible Adversarial Attacks) su napadi koji koriste razmake, naglašavanje i prostorni raspored teksta — vidljive tipografske elemente — kako bi sakrili štetan sadržaj od automatskih detektora, a ostali lako čitljivi za ljude. Za razliku od klasičnih adversarialnih perturbacija na razini piksela ili skrivenih Unicode tokena, HPAA manipulacije jasno su perceptualne: čitatelj bez napora dekodira poruku, dok moderatorski sustav sadržaj klasificira kao siguran.

Rezultati testiranja: 13 sustava, 86%, manje od 1%

Autori — Qin Yang, Lu Malloy, Joshua Lee, Xiaohan Chang, Meisam Mohammady, Doowon Kim i Yuan Hong — testirali su metodu na 13 komercijalnih i open-source sustava za moderaciju sadržaja:

• >86 % ljudskog prepoznavanja — paneli evaluatora pravilno identificiraju štetan sadržaj čak i u tipografski modificiranom obliku
• <1 % stope detekcije — automatski moderatori napad praktički ne prepoznaju
• Samo 3 upita prema detektoru — black-box pristup bez gradijentnih informacija

Usporedba je rječita: isti tekst koji algoritam proglašava sigurnim, čovjek prepoznaje kao štetan u više od 86 slučajeva od 100. Jaz između strojne detekcije i ljudske percepcije nije ranije bio kvantificiran s ovakvom preciznošću.

Zašto AI moderatori ‘ne vide’ manipuliranu tipografiju?

Uzrok leži u arhitekturnoj asimetričnosti između LLM-a i vizualnog sustava čovjeka. LLM tokenizacija rastavlja tekst na podnizove prema statičkim pravilima i nema sloja vizualne percepcije kojim mozak automatski rekonstruira namijenjeno značenje manipuliranog teksta. Razmak ili neočekivani prelom retka koji napadač umetne između slova ne mijenja semantiku za čitatelja, ali narušava tokenizacijski uzorak koji moderator koristi za detekciju.

Autori zaključuju da samo fino podešavanje postojećih moderatora nije dostatno: dugotrajno rješenje zahtijeva vizualni sloj pretprocesiranja ili tokenizacijske sheme robusne na tipografski šum.