arXiv:2606.04037: Certifikati povjerenja za AI agente prije ulaska u regulirane industrije
Istraživači su predstavili okvir za provjeru AI agenata prije njihova uvođenja u regulirane industrije. Sustav koristi ontologiju za generiranje scenarija i izdaje strojno provjerljive certifikate povjerenja, a nadmašuje pristupe temeljene na personama u regulatornom pokrivanju.
Ovaj članak generiran je uz pomoć umjetne inteligencije na temelju primarnih izvora.
Kako sve više poduzeća želi pustiti autonomne AI agente u regulirane sektore poput bankarstva ili zdravstva, otvara se pitanje: kako dokazati da je agent siguran prije nego stupi u produkciju? Rad autora Thanha Luonga Tuana i Abhijita Sanyala nudi formalni odgovor.
Što je operativni okvir agenta?
Središnji pojam je Agent Operational Envelope — operativni okvir koji formalno definira granice unutar kojih agent smije djelovati. On obuhvaća dopuštenja, domenska ograničenja, sigurnosna svojstva, pravila upravljanja i razinu autonomije. Tek kada je ponašanje agenta dokazano unutar tog okvira, sustav mu izdaje Trust Certificate — strojno provjerljiv certifikat povjerenja s graduiranim verdiktom o tome smije li agent biti uveden.
Što je ontologija i čemu služi?
Ontologija je strukturirani model znanja koji opisuje pojmove i njihove odnose u nekoj domeni. Umjesto da scenarije generiraju iz izmišljenih korisničkih persona, autori ih izvode iz ontologije reguliranog područja. Testiranje je obuhvatilo četiri sektora — fintech, bankarstvo, osiguranje i zdravstvo — te generiralo 1.800 scenarija provjerenih nad 125 primarnih regulatornih zahtjeva, uz unaprijed ubačenih 25 kvarova.
Koliko je pristup učinkovit?
Ontološko generiranje znatno je nadmašilo pristup temeljen na personama u regulatornom pokrivanju: 48,3 posto naspram 33,1 posto. Okvir je postigao i najvišu domensku specifičnost (4,77 od 5,0). Validacija je obuhvatila tri obitelji modela — Claude Sonnet 4, Qwen 2.5 72B i Gemma 4 26B — uz ukupno 5.400 scenarija.
Česta pitanja
- Što je operational envelope za AI agenta?
- To je formalni opis dopuštenja, domenskih ograničenja, sigurnosnih svojstava i razine autonomije unutar kojih agent smije djelovati prije nego dobije certifikat.
- Zašto je ontološki pristup bolji od persona pristupa?
- Ontološko generiranje scenarija pokriva 48,3 posto regulatornih zahtjeva, naspram 33,1 posto kod pristupa temeljenog na personama korisnika.
Izvori
Povezane vijesti
Anthropic: Red Team mapira AI-omogućene kibernapade na MITRE ATT&CK okvir, u suradnji s Verizonom
AWS: Novi Bedrock InvokeGuardrailChecks API donosi sigurnosne provjere bez resursa za agentske aplikacije
arXiv:2606.07929: Stres-test medicinskih LLM-ova otkriva skrivenu sigurnosnu patologiju