Allen Institute: što je izgradnja agenta Shippy naučila o pouzdanim AI agentima

Allen Institute for AI (AI2) objavio je detaljnu retrospektivu razvoja Shippyja — maritimnog AI agenta koji opslužuje vlade, NGO-e i 300+ partnera u više od 70 zemalja. Analiza razotkriva arhitekturne odluke koje razlikuju pouzdane produkcijske agente od laboratorijskih prototipova.

Što je Shippy i kako je arhitekturno organiziran?

Shippy je AI agent specijaliziran za maritimno domenu — procesiranje podataka o plovilima, lukama i praćenju tereta — koji pokreće Claude Opus 4.6 kao temeljni jezični model. Arhitektura je organizirana u tri sloja: Soul (sistemski prompt koji definira agentovu svrhu i granice), Skills (markdown specifikacije dostupnih alata koje agent može pozvati) i Config (konfiguracija prilagođena svakom partneru). Orkestracija se odvija kroz OpenClaw harness, interni AI2 okvir za upravljanje agentskim tokovima rada.

Svaki korisnik ili partner dobiva izoliranu Kubernetes sandbox — odvojeno izvršno okruženje koje sprječava međusobno curenje podataka i povećava sigurnost u višekorisničkim scenarijima.

Deterministički alati kao osnova pouzdanosti

Jedna od najvažnijih arhitekturnih odluka bio je odabir determinističkog CLI sloja umjesto direktnih API poziva. Pristup je slojevit: na dnu se nalazi tipiziran API, iznad njega CLI koji enkapsulira standardizirane pozive, a agentske Skills pozivaju isključivo CLI. Prema AI2, ova odluka dramatično smanjuje greške jer alati postaju predvidljivi — agent uvijek dobiva isti format odgovora za isti upit, što olakšava otkrivanje i ispravljanje grešaka.

Guardrail — ograničenje koje sprječava neželjeno ponašanje agenta — implementiran je eksplicitno na razini Skills specifikacija, a ne kao implicitno ponašanje modela. Shippy, primjerice, odbija odgovarati na pitanja izvan maritimne domene bez obzira na korisnikov zahtjev.

Evaluacija: LLM-sudac s rubrikama

AI2 vrednuje Shippyja korištenjem LLM-suca s ponderiranim rubrikama prilagođenim specifičnim zadacima. Dosljedni rezultati postignuti su na zadacima dohvata podataka i guardrail scenarijima — agent točno odbija zabranjene zahtjeve. Identificirane su i slabosti: planiranje patrola i geometrijski upiti (prostorne kalkulacije nad kartografskim podacima) i dalje su izazovni, što AI2 pripisuje ograničenjima prostornog rasuđivanja u jezičnim modelima.

Ključna lekcija za graditelje agenata

AI2 zaključuje da pouzdanost Shippyja ne potječe primarno od snage Claude Opus 4.6 kao modela, već od kombinacije determinističkih alata, eksplicitnih guardrailova, izolacije infrastrukture po korisniku i evaluacijskih protokola utemeljenih na stvarnim operativnim tokovima rada. Snažniji model bez tih elemenata, prema nalazima AI2, ne postiže usporedivu razinu pouzdanosti u produkcijskim uvjetima.