Allen Institute：Shippyエージェントの開発から学んだ信頼できるAIエージェント構築の教訓

Allen Institute for AI（AI2）は、Shippyの開発に関する詳細な振り返りを発表しました。Shippyは70か国以上の政府・NGO・300以上のパートナーにサービスを提供する海事AIエージェントです。この分析は、信頼できる本番エージェントをラボのプロトタイプと区別するアーキテクチャ上の決断を明らかにしています。

Shippyとは何で、どのようにアーキテクチャが構成されているか？

Shippyは海事ドメインに特化したAIエージェントで、船舶・港・貨物追跡データを処理し、Claude Opus 4.6を基盤となる言語モデルとして使用しています。アーキテクチャは3つのレイヤーで構成されています：Soul（エージェントの目的と境界を定義するシステムプロンプト）、Skills（エージェントが呼び出せるツールのMarkdown仕様）、Config（パートナーごとにカスタマイズされた設定）。オーケストレーションはOpenClaw harness——エージェントワークフロー管理のためのAI2内部フレームワーク——を通じて行われます。

各ユーザーまたはパートナーは独立したKubernetesサンドボックスを取得します。これはマルチユーザーシナリオにおけるデータ漏洩を防ぎ、セキュリティを向上させる隔離された実行環境です。

決定論的ツールが信頼性の基盤

最も重要なアーキテクチャ上の決断の一つは、直接APIコールではなく決定論的CLIレイヤーを選択したことです。アプローチは階層化されています：下部に型付きAPIがあり、その上に標準化されたコールをカプセル化するCLIがあり、エージェントのSkillsはCLIのみを呼び出します。AI2によると、この決断によりエラーが大幅に減少しました。ツールが予測可能になり——エージェントは同じクエリに対して常に同じ形式のレスポンスを得られ——エラーの検出と修正が容易になるからです。

ガードレール——エージェントの望ましくない動作を防ぐ制約——はモデルの暗黙的な動作としてではなく、Skillsの仕様レベルで明示的に実装されています。例えばShippyは、ユーザーの要求に関係なく、海事ドメイン外の質問への回答を拒否します。

評価：ルーブリックを使ったLLMジャッジ

AI2はタスクに合わせた加重ルーブリックを持つLLMジャッジを使ってShippyを評価しています。データ検索タスクとガードレールシナリオで一貫した結果が得られており、エージェントは禁止されたリクエストを正確に拒否します。弱点も特定されており、パトロール計画と幾何クエリ（地図データの空間計算）は依然として困難です。AI2はこれを言語モデルの空間推論の限界によるものとしています。

エージェント構築者への核心的な教訓

AI2は、Shippyの信頼性は主にClaude Opus 4.6のモデルとしての能力からではなく、決定論的ツール・明示的なガードレール・ユーザー別のインフラ隔離・実際の運用ワークフローに基づく評価プロトコルの組み合わせから生まれると結論付けています。AI2の知見によれば、これらの要素なしにより強力なモデルを使っても、本番環境で同等の信頼性レベルは達成できないとのことです。