ArXiv ARMOR 2025: prvi vojni benchmark za LLM sigurnost s 519 promptova kroz 21 komercijalni model

Sydney Johns, Heng Jin, Chaoyu Zhang, Y. Thomas Hou i Wenjing Lou s Virginia Tech-a objavili su 30. travnja 2026. ARMOR 2025 — prvi sigurnosni benchmark koji LLM-ove evaluira prema vojnim, a ne civilnim standardima. Rad popunjava prazninu o kojoj se rijetko piše: testovi tipa HarmBench mjere generalno štetno ponašanje (uputstvo za bombu, dezinformacije), ali ne testiraju razumijevanje konteksta vojnih operacija.

Polazna teza je da postojeći okviri ne razlikuju legalnu od ilegalne radnje pod Zakonom rata, Pravilima angažmana i Joint Ethics Regulation — temeljnim doktrinarnim okvirima profesionalne vojske. Model koji slijepo odbija svaki upit s vojnim kontekstom jednako je beskoristan u praktičnoj primjeni kao i model koji bezuvjetno udovoljava.

Što je sastav benchmarka?

ARMOR 2025 sastoji se od 519 doktrinarno utemeljenih promptova organiziranih kroz 12-kategorijsku taksonomiju i strukturiranih po OODA okviru: Observe (uočavanje), Orient (procjena), Decide (odluka), Act (akcija). Svaki prompt ima jasnu doktrinarnu referencu — koja regulacija ili međunarodni propis se primjenjuje, što je očekivano ponašanje modela.

Promptovi nisu obično “kako napraviti X” — uključuju složene scenarije s pitanjima legalnosti, proporcionalnosti i razlikovanja kombatanata od civila. Model mora prepoznati da je dio scenarija pitanje doktrine, ne tehnička izvedba.

Kako se 21 komercijalni model ponio?

Rad sustavno testira 21 komercijalni LLM kroz cijelu taksonomiju, mjereći kako točnost odgovora tako i konzistentnost odbijanja. Detaljni rezultati za pojedine modele su u prilozima rada, ali generalan zaključak: postoje kritične praznine u sigurnosnom uskladivanju za vojne primjene.

Najtipičnije pogreške uključuju nedosljedno odbijanje (model jednom odbija, drugi put ispunjava istu vrstu upita), pogrešno tumačenje konteksta (tretira hipotetski scenarij kao operativni nalog), i nedostatak razumijevanja proporcionalnosti.

Zašto ovaj benchmark sad?

Tema dolazi u trenutku kada vlade i obrambeni izvođači aktivno integriraju komercijalne LLM-ove u operativna pomoćna sredstva — chat-asistente za analizu obavještajnih izvora, alate za pripremu izvještaja, sustave podrške odlučivanju. Bez doktrinarnog testa, deployment se temelji na civilnim sigurnosnim mjerilima koja propuštaju vojne specifičnosti.

Za AI vendore (Anthropic, OpenAI, Google, Mistral, Cohere) ARMOR 2025 postaje neformalni “must pass” ako žele biti razmatrani za obrambene ugovore. Za istraživačku zajednicu, benchmark otvara područje doctrinal alignment — uskladivanje modela s formalnim pravnim okvirima, ne samo sa subjektivnim normama.

Što benchmark ne pokriva

Autori jasno priznaju ograničenja: ARMOR 2025 fokusira se na anglo-američku doktrinu (US Joint Ethics, Law of War kako ga interpretira Pentagon), ne uključuje europske propise (npr. Bundeswehrove smjernice ili francuske ROE), niti analizira kako bi se modeli ponašali pod NATO-om kao kombiniranim okvirom. To otvara prostor za sljedeće generacije benchmarka koji bi pokrili širi doktrinarni spektar.