CNCF：为何传统可观测性不适用于智能体和 LLM 系统
CNCF 博客解释了为何传统系统监控方法不适用于以概率方式运行的 AI 智能体和 LLM 模型——相同的查询可能产生截然不同的结果，错误是语义层面的，而非技术层面的。
🤖
本文由人工智能基于一手来源生成。
什么是可观测性，为何 AI 系统打破了旧规则？
可观测性是指通过外部信号——日志、指标和追踪（traces）——理解系统内部状态的能力。在传统软件系统中，相同的输入始终产生相同的输出，因此异常可以通过延迟升高或错误率上升轻松发现。CNCF 指出，这一原则对于以概率方式运行的 LLM 模型和 AI 智能体根本不适用。
为何概率性改变了一切？
相同的提示可能因温度、上下文和模型状态的不同而产生截然不同的响应。错误并非总是技术性的——智能体可以无异常地完成响应，却做出错误的决策。传统遥测系统看不到这一层面。Prometheus 和 Grafana 记录 CPU、内存和 HTTP 状态，却忽略了语义层面：智能体是否理解了任务？是否遵循了正确步骤？结果是否有用？
可持续智能体可观测性框架
CNCF 建议将关注焦点从基础设施指标转移到结果可靠性。问题不再是「服务是否可用？」，而是「决策是否正确？」。具体而言，这意味着追踪提示/响应对的语义模式、决策质量以及智能体随时间推移的行为一致性。该方法提供了一个「可持续」可观测性框架，不产生数据噪声，而是测量真正影响结果的因素。
与一个工具即可覆盖全部需求的确定性微服务不同，智能体系统需要专门针对 LLM 交互和自主决策的新监控层。
常见问题
- 为何传统可观测性不足以应对 AI 智能体？
- AI 系统以概率方式运行——相同的提示可能产生不同的结果，因此基础设施指标（延迟、CPU）无法发现智能体决策中的语义错误。
- CNCF 建议在智能体系统中监控什么？
- CNCF 建议监控提示/响应对的语义模式和决策质量，而不仅仅是错误数量或服务可用性等技术指标。