ArXiv SAGE：27个LLM测试——模型理解意图但无法正确执行

客户服务代理基准测试

研究团队（Shi、Dai、Wang等）推出了SAGE（Service Agent Graph-guided Evaluation）——一个将非结构化SOP（标准操作程序）形式化为动态对话图并测试LLM在实践中遵循程度的基准测试。

SAGE在6个行业场景中测试了27个LLM——这是同类服务代理评估中规模最大的。

两个关键现象

执行差距

模型正确分类了用户意图（知道用户想要什么），但不执行符合SOP的正确后续操作。理解≠执行。

共情韧性

在高对抗压力下，模型维持礼貌的对话外表，而在表面之下犯逻辑错误。用户得到代理很有能力的印象，但实际上代理在做错误的事情——这是一种具有欺骗性的失败方式。

为什么这很重要

对于在客户服务中使用AI代理的公司来说，这是一个警告：仅衡量”代理是否理解问题”的标准基准测试遗漏了一个关键维度——“代理在理解之后是否执行了正确的操作”。SAGE引入了对抗性意图分类法和模块化扩展机制，可以低成本地在新领域进行测试。