arXiv:2607.08395: Token-Flow Firewall — runtime nadzor koji dugoživuće AI agente štiti i spušta uspješnost napada na 12,5%

Rad “Token-Flow Firewall: Semantic Runtime Auditing for Persistent AI Agents” (arXiv:2607.08395), autora Puji Wanga i suradnika, predstavlja obrambeni mehanizam za dugoživuće AI agente koji radi tijekom izvršavanja, a ne samo u fazi treniranja. Perzistentni agent je sustav koji zadatke odrađuje kroz duge, višekoračne sesije — upravo klasa sustava kod koje je jedan uspješan napad najopasniji jer se njegov učinak prenosi kroz cijeli lanac.

Kako firewall radi?

Mehanizam u realnom vremenu prati tokove tokena u prirodnom jeziku — ulaze, međukorake i izlaze agenta — tražeći semantičke obrasce koji odaju napad, poput ubačenih instrukcija koje preusmjeravaju cilj. Za razliku od statičke provjere ulaza, runtime nadzor hvata i napade koji se aktiviraju tek usred zadatka, kad je izvorni ulaz već prošao. To ga čini komplementarnim postojećim zaštitama iz treniranja modela.

Brojka koja rad čini konkretnim

U testovima prompt injectiona i drugih adversarijalnih napada Token-Flow Firewall smanjuje uspješnost napada na 12,5%. Prompt injection — ubacivanje skrivenih instrukcija u ulaz modela — jedan je od najupornijih napada na LLM sustave, a mjerljivo spuštanje uspješnosti daje obrani praktičnu vrijednost. Rezultat treba čitati s oprezom svojstvenim preprintu bez recenzije, ali metrika je dovoljno konkretna da omogući usporedbu s budućim pristupima.

Kontekst

Rad se uklapa u niz srpanjskih sigurnosnih nalaza: GitHubov CodeQL uveo je detekciju prompt injectiona u statičku analizu, a arXiv rad “Overthinking” pokazao je ekstrakcijske napade na reasoning modele. Zajedno ocrtavaju sazrijevanje AI sigurnosti u zasebnu disciplinu s vlastitim alatima — od statičke analize koda do runtime vatrozida za agente u proizvodnji.