Sigurnosna rupa: LangChain, AutoGPT i OpenAI Agents SDK ne ispunjavaju niti jedan od šest sigurnosnih principa za agentne AI sustave

Sigurnosna provjera triju vodećih agentnih okvira otkriva sustavne propuste

Istraživači Md Jafrin Hossain, Mohammad Arif Hossain, Weiqi Liu i Nirwan Ansari objavili su rad koji će uznemiriti zajednicu razvojnih inženjera koji grade javno dostupne AI sustave. Studija, prihvaćena na ICML 2026 radionici AI4GOOD, metodički je provjerila jesu li tri dominantna agentna okvira — LangChain, AutoGPT i OpenAI Agents SDK — sigurni za primjenu u visokorizičnim javnim uslugama.

Odgovor je jednoznačan: nijedan od triju okvira ne ispunjava niti jedan od šest sigurnosnih principa koji su autori izveli iz kompozicijskog modela agentnih arhitektura.

Što su „načela zadržavanja” i zašto su važna?

Autori polaze od koncepta containment — zadržavanja (engl. containment principles) — koji definira šest temeljnih zahtjeva koje agentni AI sustav mora ispuniti kako bi bio siguran u javnim primjenama. Radi se o načelima koja pokrivaju područja poput integriteta memorije, zaštite podataka i provjere politika.

Posebno zabrinjavajući nalaz tiče se integriteta memorije (engl. memory integrity): obrana od jedne od najčešćih klasa ranjivosti nije prisutna ni u jednom od triju evaluiranih okvira. To znači da napadač koji uspije ugroziti memoriju agenta može trajno i neprimjetno mijenjati podatke kojima agent upravlja — bez ikakve detekcije.

Alarmantnih 88,9 posto pogrešnih odbijanja

Da bi demonstrirali posljedice ovog propusta u praksi, istraživači su konstruirali simuliranu aplikaciju za državne socijalne usluge. Scenarij nije teorijski: milijuni građana diljem svijeta već danas koriste AI asistente koji vode postupke za državnu pomoć, medicinsku skrb ili financijske beneficije.

Jedan jedini napad na memoriju agenta doveo je do sljedećih izmjerenih učinaka:

• Stopa pogrešnih odbijanja zahtjeva narasla na 88,9% za ciljane podnositelje
• Složeni napadi na politike (policy attacks) povećali su ukupnu stopu pogrešnih odbijanja za 3,5 puta, a da pritom ukupna točnost sustava ostaje naizgled prihvatljiva

Potonji nalaz posebno je podmukao: agregatne metrike točnosti mogu biti uredno zelene, dok sustav istovremeno sustavno oštećuje određenu skupinu korisnika. Standardni monitoring to ne bi otkrio.

Mehanizmi napada na agentne okvire

Ključni problem je u tome što agentni okviri ne razlikuju pouzdane i nepouzdane podatke koji ulaze u memoriju agenta. Napadač može, primjerice, podmetanjem lažnih zapisa u vektorsku bazu podataka ili u kratkoročnu memoriju agenta uzrokovati da agent trajno donosi pogrešne odluke — čak i kad su novi ulazni podaci ispravni. Istraživači nazivaju ovo persistent targeted corruption (trajna ciljana korupcija), jer se napad prenosi kroz sve buduće sesije i sve isprobane backend konfiguracije.

Popravak uz minimalan režijski trošak

Ovdje istraživanje donosi i konstruktivan doprinos. Autori nisu samo dijagnosticirali problem — uveli su dva konkretna, lagana mehanizma zaštite:

1. Validator integriteta memorije (memory integrity validator) — provjerava konzistentnost i integritet podataka prije nego što ih agent koristi za donošenje odluka
2. Policy gate (upravljačko sito politika) — mehanizam provedbe koji sprječava prolaz kvarnih ili neovlaštenih podataka kroz lanac agentne obrade

Obje mjere rješavaju identificirane sigurnosne praznine uz zanemarivo procesno opterećenje — svaki poziv traje manje od 0,2 milisekunde. To znači da nema praktičnih prepreka za implementaciju u produkcijskim sustavima.

Posljedice za industriju

Zaključak autora je jasan: „Trenutačni agentni okviri možda još ne ispunjavaju očekivanja sigurnosti po zadanim postavkama za javne primjene” u visokorizičnim domenama poput državnih usluga i zdravstvene skrbe.

Ovo nije akademska kritika usmjerena prema jednom dobavljaču — radi se o sustavnom nalazu koji zahvaća cijelu generaciju alata na kojima industrija gradi produkcijske sustave. LangChain, AutoGPT i OpenAI Agents SDK zajedno pokrivaju veliku većinu tržišta agentnog razvoja.

Za razvojne inženjere i voditelje tehnologije koji danas implementiraju agentne sustave u javnim ili reguliranim kontekstima, ovaj rad nudi i praktičan put naprijed: predložena rješenja su lagana, a propusti su jasno dokumentirani. Pitanje nije hoće li ih netko iskoristiti — nego koliko brzo organizacije mogu reagirati.