🟢 🛡️ Sigurnost Objavljeno: · 2 min čitanja ·

arXiv:2606.04037: Certifikati povjerenja za AI agente prije ulaska u regulirane industrije

arXiv:2606.04037 ↗

Urednička ilustracija: Certifikati povjerenja za AI agente prije ulaska u regulirane industrije

Istraživači su predstavili okvir za provjeru AI agenata prije njihova uvođenja u regulirane industrije. Sustav koristi ontologiju za generiranje scenarija i izdaje strojno provjerljive certifikate povjerenja, a nadmašuje pristupe temeljene na personama u regulatornom pokrivanju.

🤖

Ovaj članak generiran je uz pomoć umjetne inteligencije na temelju primarnih izvora.

Kako sve više poduzeća želi pustiti autonomne AI agente u regulirane sektore poput bankarstva ili zdravstva, otvara se pitanje: kako dokazati da je agent siguran prije nego stupi u produkciju? Rad autora Thanha Luonga Tuana i Abhijita Sanyala nudi formalni odgovor.

Što je operativni okvir agenta?

Središnji pojam je Agent Operational Envelope — operativni okvir koji formalno definira granice unutar kojih agent smije djelovati. On obuhvaća dopuštenja, domenska ograničenja, sigurnosna svojstva, pravila upravljanja i razinu autonomije. Tek kada je ponašanje agenta dokazano unutar tog okvira, sustav mu izdaje Trust Certificate — strojno provjerljiv certifikat povjerenja s graduiranim verdiktom o tome smije li agent biti uveden.

Što je ontologija i čemu služi?

Ontologija je strukturirani model znanja koji opisuje pojmove i njihove odnose u nekoj domeni. Umjesto da scenarije generiraju iz izmišljenih korisničkih persona, autori ih izvode iz ontologije reguliranog područja. Testiranje je obuhvatilo četiri sektora — fintech, bankarstvo, osiguranje i zdravstvo — te generiralo 1.800 scenarija provjerenih nad 125 primarnih regulatornih zahtjeva, uz unaprijed ubačenih 25 kvarova.

Koliko je pristup učinkovit?

Ontološko generiranje znatno je nadmašilo pristup temeljen na personama u regulatornom pokrivanju: 48,3 posto naspram 33,1 posto. Okvir je postigao i najvišu domensku specifičnost (4,77 od 5,0). Validacija je obuhvatila tri obitelji modela — Claude Sonnet 4, Qwen 2.5 72B i Gemma 4 26B — uz ukupno 5.400 scenarija.

Česta pitanja

Što je operational envelope za AI agenta?
To je formalni opis dopuštenja, domenskih ograničenja, sigurnosnih svojstava i razine autonomije unutar kojih agent smije djelovati prije nego dobije certifikat.
Zašto je ontološki pristup bolji od persona pristupa?
Ontološko generiranje scenarija pokriva 48,3 posto regulatornih zahtjeva, naspram 33,1 posto kod pristupa temeljenog na personama korisnika.