arXiv:2607.09532: statistički nedetektabilni backdoori u dubokim neuronskim mrežama (ICML 2026)

Rad trojice istraživača — Bogdanova, Rosena i Vafe — prihvaćen na ICML 2026 donosi jedan od najzabrinjavajućih formalnih rezultata u AI sigurnosti: matematički dokaz da backdoor u dubokim neuronskim mrežama može biti statistički nedetektabilan čak i kad inspektor ima potpun uvid u sve parametre modela.

Što su backdoor i white-box, i zašto je ovaj rad važan?

Backdoor je skrivena ranjivost namjerno ugrađena u model za strojno učenje — napadač trenira model tako da se ponaša normalno za sve standardne ulaze, ali reagira na specifični skriveni okidač (trigger) na predvidljiv i napadaču koristan način. White-box scenarij označava situaciju u kojoj inspektor, regulator ili korisnik ima potpun pristup svim težinama i arhitekturi modela — suprotno od black-box pristupa gdje se vidi samo ulaz i izlaz.

Do sada se smatralo da white-box inspekcija pruža robusnu zaštitu: ako vidiš sve, možeš pronaći sumnjive obrasce. Bogdanov, Rosen i Vafa dokazuju da ovo nije točno.

Mehanizam napada i kriptografski temelj

Backdoor koji autori konstruiraju daje napadaču sposobnost generiranja “invariance-based adversarial examples” — adversarijalnih primjera koji su nerazlučivi od legitimnih ulaza za sve promatrače osim napadača s tajnim ključem. Za razliku od klasičnih adversarijalnih napada koji mijenjaju ulaz do granice vidljivosti, ovi primjeri statistički izgledaju kao normalni podaci.

Ključni kriptografski dokaz glasi: bez poznavanja backdoora nije moguće generirati takve adversarijalne primjere u polinomijalnom vremenu, pod standardnim kriptografskim pretpostavkama (npr. teškoća problema faktorizacije ili diskretnog logaritma). Ovo backdoor čini asimetričnim oružjem — napadač s tajnim ključem ima sposobnosti koje legitimni korisnik ne može replicirati ni statistički detektirati.

Fundamentalna asimetrija moći između trenera i korisnika

Najširi zaključak rada nije tehnički, već strukturni: onaj tko trenira model posjeduje sposobnosti koje korisnik, neovisno o resursima za inspekciju, ne može dosegnuti. Ova asimetrija nije zakrpiva postprocesnim alatima za detekciju jer je matematički dokazano da takvi alati ne mogu postojati pod danim pretpostavkama.

U praksi to znači da organizacije koje primjenjuju modele trenirane od strane trećih strana — što obuhvaća gotovo sve komercijalne AI korisnike — ne mogu biti sigurne da su modeli koje koriste čisti, bez obzira na dubinu tehničke inspekcije. Autori ne predlažu konkretno rješenje, već pozivaju zajednicu na preispitivanje pretpostavki o sigurnosti lanaca opskrbe AI modelima.