Allen Institute：Shippy智能体的开发为构建可靠AI智能体带来了哪些启示

Allen Institute for AI（AI2）发布了Shippy开发的详细回顾——这是一个海事AI智能体，服务于70多个国家的政府、非政府组织和300多个合作伙伴。该分析揭示了将可靠的生产级智能体与实验室原型区分开来的架构决策。

Shippy是什么，架构如何组织？

Shippy是专注于海事领域的AI智能体——处理船只、港口和货物追踪数据——由Claude Opus 4.6作为基础语言模型驱动。架构分为三层：Soul（定义智能体目的和边界的系统提示）、Skills（智能体可调用的可用工具的Markdown规范）和Config（为每个合作伙伴定制的配置）。编排通过OpenClaw harness进行——AI2内部用于管理智能体工作流的框架。

每个用户或合作伙伴都获得独立的Kubernetes沙盒——一个隔离的执行环境，防止多用户场景中的数据泄漏并提高安全性。

确定性工具作为可靠性的基础

最重要的架构决策之一是选择确定性CLI层而非直接API调用。该方法是分层的：底层是类型化API，其上是封装标准化调用的CLI，智能体技能专门调用CLI。根据AI2的说法，这一决策大幅减少了错误，因为工具变得可预测——智能体对相同查询始终获得相同格式的响应，这便于错误检测和修正。

防护栏——防止不期望智能体行为的限制——在技能规范层面明确实现，而非作为模型的隐式行为。例如，无论用户要求什么，Shippy都拒绝回答海事领域之外的问题。

评估：带评分标准的LLM评判

AI2使用带有针对具体任务定制的加权评分标准的LLM评判来评估Shippy。在数据检索任务和防护栏场景上取得了一致的结果——智能体准确拒绝了被禁止的请求。也发现了弱点：巡逻规划和几何查询（地图数据的空间计算）仍然具有挑战性，AI2将此归因于语言模型在空间推理上的局限性。

智能体构建者的核心教训

AI2得出结论：Shippy的可靠性主要不是来自Claude Opus 4.6作为模型的能力，而是来自确定性工具、明确的防护栏、按用户隔离的基础设施以及基于真实操作工作流的评估协议的组合。AI2的研究发现表明，没有这些要素的更强大模型在生产条件下无法达到类似的可靠性水平。