AISI: Frontier AI modeli otkrili kritične cloud ranjivosti za manje od £150

Britanski AI Security Institute (AISI) objavio je detaljan prikaz slučaja u kojem je vlastiti inženjerski tim koristio frontier AI modele za sigurnosnu reviziju svoje istraživačke platforme. Rezultati su iznimno ilustrativni: modeli su pronašli kritične cloud ranjivosti koje su prethodno izmakle standardnim alatima, a najteži napadni lanac otkriven je uz troškove ispod £150 u model tokenima.

Tri pristupa različite dubine i šuma

Tim je testirao tri metodologije, svaku s različitim omjerom autonomije i ljudskog nadzora.

Statička analiza izvornog koda bila je najmanje zahtjevna po pitanju ljudskog angažmana: coding agent je dobio pristup privatnom repozitoriju s ulogom sigurnosnog recenzenta i samostalno analizirao kod. Ovaj pristup generirao je najviše upozorenja označenih kao „visoko” ili „kritično”, ali i najviše šuma. Mnogi prijavljeni problemi pokazali su se manje ozbiljnima ili neiskoristivima, pa je filtriranje rezultata zahtijevalo opsežan inženjerski rad.

Automatizirano agentsko sondiranje temeljilo se na autonomnom agentu izgrađenom unutar Inspect eval okvira. Agent je polazio od pristupa na razini istraživača i pokušavao samostalno identificirati iskoristive puteve. Pristup je dao konkretnije i djelotvornije rezultate od statičke analize.

Human-in-the-loop red-teaming kombinirao je ekspertizu sigurnosnog istraživača s mogućnostima coding agenta: istraživač je interaktivno upravljao agentom, odobravajući svaki korak ručno. Ovaj pristup rezultirao je najjasnijim i najdirektnije iskoristivim nalazima.

Petostepeni napadni lanac koji nitko nije vidio

Ključni nalaz projekta bio je prethodno neotkriveni napadni lanac koji se sastoji od pet neovisnih koraka. Lanac je omogućavao običnom korisniku da bez interakcije s žrtvom pristupi podacima drugih istraživača na platformi. Inženjeri su opisali napadni put kao „razumljiv, ali neintuitivni” — upravo vrsta ranjivosti koja izmakne rutinskim pregledima jer nijedan korak zasebno ne izgleda kritično.

Uz petostepeni lanac, otkrivene su i ranjivosti u kontroli pristupa, putevi eskalacije privilegija te slabosti u sigurnosti lanca opskrbe softverom.

Svi testirani frontier modeli pronašli su barem jednu iskoristivu ranjivost. Najsposobniji modeli uspješno su ulančali više otkrivenih slabosti, omogućavajući lateralno kretanje i pristup neovlaštenim podacima.

Zašto je detekcijski jaz ključni zaključak?

Posebno zabrinjavajući aspekt projekta tiče se detekcije same agentske aktivnosti. Kada je autonomni agent provodio sondiranje, standardni komercijalni alerting sustav potpuno je propustio tu aktivnost — nije generirao nikakva upozorenja na neobično ponašanje.

Napredni monitoring koji je kombinirao agentsko skeniranje oblaka bez agenata i senzore na razini domaćina ispravno je identificirao agresivno ponašanje: pokušaje preuzimanja vjerodajnica i neočekivani mrežni promet. Jaz između ta dva pristupa detekcije pokazuje da organizacije koje se oslanjaju isključivo na standardne komercijalne alerte neće biti svjesne kada AI agent provodi rekognosciranje unutar njihove infrastrukture.

Ekonomika AI sigurnosnih revizija

Troškovna dimenzija projekta vrijedna je posebne pažnje. Primarni napadni lanac koštao je manje od £150 u model tokenima. Ukupni troškovi cijelog projekta — uključujući sva tri pristupa i sve testirane modele — ostali su ispod £1.000.

Usporedba s troškovima angažiranja specijaliziranih sigurnosnih istraživača za ekvivalentnu reviziju sugerira da AI-potpomognuto red-teaming predstavlja ekonomski pristupačan alat čak i za organizacije s ograničenim sigurnosnim budžetima.

AISI naglašava da su svi pristupi imali vlastite prednosti i slabosti te da kombinacija metodologija daje najpotpuniju sliku. Statička analiza dobra je za sveobuhvatno pokrivanje, dok agentski i human-in-the-loop pristupi daju manji, ali pouzdaniji skup nalaza kojima se može odmah djelovati.

Ovaj prikaz slučaja dolazi u trenutku kada industrija aktivno raspravlja o dualnoj naravi frontier AI modela u kontekstu kibernetičke sigurnosti: isti modeli koji mogu pronaći ranjivosti mogu ih i iskoristiti, što čini razumijevanje njihovih mogućnosti kritičnim za obrambene timove.