Allen Institute：Shippy 에이전트 개발로 배운 신뢰할 수 있는 AI 에이전트 구축의 교훈

Allen Institute for AI（AI2）는 70개국 이상의 정부, NGO, 300개 이상의 파트너에 서비스를 제공하는 해양 AI 에이전트 Shippy 개발에 대한 상세한 회고록을 발표했습니다. 이 분석은 신뢰할 수 있는 프로덕션 에이전트와 실험실 프로토타입을 구분하는 아키텍처 결정들을 밝혀냅니다.

Shippy는 무엇이고 아키텍처는 어떻게 구성되어 있는가?

Shippy는 해양 도메인에 특화된 AI 에이전트로, 선박, 항구, 화물 추적 데이터를 처리하며 Claude Opus 4.6을 기반 언어 모델로 사용합니다. 아키텍처는 세 계층으로 구성됩니다: Soul（에이전트의 목적과 경계를 정의하는 시스템 프롬프트）, Skills（에이전트가 호출할 수 있는 도구의 마크다운 명세）, Config（파트너별로 맞춤화된 구성）. 오케스트레이션은 OpenClaw harness——에이전트 워크플로우 관리를 위한 AI2 내부 프레임워크——를 통해 이루어집니다.

각 사용자나 파트너는 독립된 Kubernetes 샌드박스를 받습니다. 이는 다중 사용자 시나리오에서 데이터 유출을 방지하고 보안을 높이는 격리된 실행 환경입니다.

결정론적 도구가 신뢰성의 기반

가장 중요한 아키텍처 결정 중 하나는 직접 API 호출이 아닌 결정론적 CLI 레이어를 선택한 것입니다. 접근 방식은 계층화되어 있습니다: 하단에 타입화된 API가 있고, 그 위에 표준화된 호출을 캡슐화하는 CLI가 있으며, 에이전트 Skills는 CLI만을 호출합니다. AI2에 따르면 이 결정으로 오류가 크게 줄었습니다. 도구가 예측 가능해져——에이전트는 동일한 쿼리에 대해 항상 동일한 형식의 응답을 받으며——오류 감지와 수정이 용이해지기 때문입니다.

가드레일——원치 않는 에이전트 행동을 방지하는 제약——은 모델의 암묵적 행동이 아닌 Skills 명세 수준에서 명시적으로 구현됩니다. 예를 들어 Shippy는 사용자의 요청에 관계없이 해양 도메인 외의 질문에 답하기를 거부합니다.

평가: 루브릭을 사용한 LLM 심판

AI2는 특정 작업에 맞춤화된 가중 루브릭을 가진 LLM 심판을 사용해 Shippy를 평가합니다. 데이터 검색 작업과 가드레일 시나리오에서 일관된 결과를 달성했으며, 에이전트는 금지된 요청을 정확히 거부합니다. 약점도 식별되었습니다: 순찰 계획과 기하학적 쿼리（지도 데이터의 공간 계산）는 여전히 어렵습니다. AI2는 이를 언어 모델의 공간 추론 한계 때문으로 봅니다.

에이전트 개발자를 위한 핵심 교훈

AI2는 Shippy의 신뢰성이 주로 Claude Opus 4.6의 모델 능력이 아니라 결정론적 도구, 명시적 가드레일, 사용자별 인프라 격리, 실제 운영 워크플로우 기반 평가 프로토콜의 조합에서 비롯된다고 결론짓습니다. AI2의 연구 결과에 따르면 이러한 요소들 없이 더 강력한 모델을 사용해도 프로덕션 환경에서 동등한 신뢰성 수준을 달성할 수 없습니다.