arXiv:2605.15041 CAST 框架：基于案例的 LLM 工具使用校准在 BFCLv2 上提升5.85个百分点，推理长度减少26%

Renning Pang、Tian Lan、Leyuan Liu、Piao Tong、Sheng Cao 和 Xiaosong Zhang 于2026年5月14日在 arXiv 发表了论文，提出 CAST（案例驱动框架）——一种新的 LLM 代理工具使用校准方法。核心主张：在 BFCLv2 准确率上实现最高+5.85个百分点提升，同时推理长度减少26%。

什么是工具使用校准问题？

使用外部工具（函数调用、API 调用、代码执行）的 LLM 代理面临双重挑战：

• 推理深度——在每次工具调用前思考多深
• 结构有效性——遵守工具 schema（参数类型、必填字段、格式）

朴素方法：更多推理 + 更多验证 = 更好的结果。实际上：这会急剧增加推理成本，且不能保证真正的准确率提升。需要一种更智能的方法，能够根据任务复杂度校准推理深度。

CAST 框架具体做什么？

CAST 将历史执行轨迹视为结构化信息，而不仅仅是少样本示例：

• 复杂度特征提取——分析历史案例，识别哪些任务特征需要多少推理深度
• 失败模式映射——将结构性失败（错误参数格式、缺少必填字段）与任务特征关联
• 目标奖励转化——将这些知识转化为强化学习奖励信号，而不是静态提示工程

最终结果：模型通过强化学习训练自主习得基于案例的策略，而非通过推理时提示操控。

与现有少样本方法有何不同？

标准少样本工具使用：

• 用户在提示中提供3-5个工具调用示例
• 模型通过上下文学习”模仿”模式
• 局限性——无法适应新案例

CAST 方法：

• 通过训练内化历史案例的统计规律（而非个别示例）
• 发展出自适应策略，按任务选择推理深度
• 由于复杂度特征抽象，能泛化到未见任务分布

该方法类似于 RL 中的课程学习——模型不仅学习”做什么”，还学习”如何决定投入多少努力”。

具体基准结果如何？

团队在两个基准上进行了评估：

• BFCLv2（伯克利函数调用排行榜v2）——函数调用评估的行业标准
• ToolBench——具有多样工具生态系统的互补基准

核心结果：

• 总体执行准确率最高提升 +5.85个百分点
• 平均推理长度降低 26%
• 高影响结构性失败（错误参数类型、缺少必填字段）显著减少

“小幅准确率提升”与”+5.85pp”的区别是显著的——前沿模型排行榜通常以1-2pp的增量衡量进步。5.85pp 是一个强信号，表明该方法解决了此前研究未能利用的基本优化机会。

这对生产代理部署意味着什么？

CAST 发现对企业代理系统有直接影响：

• 训练方法——生产团队可以在自己的历史执行日志上微调开源工具使用模型（Llama、Qwen、DeepSeek），而无需支付前沿 API 费用
• 推理节省——26% 的 token 减少对高量代理部署是显著节省
• 可靠性——减少结构性失败对任务关键工作流至关重要，因为工具调用失败可能产生下游后果

该论文契合2026年专业 RL 训练用于代理系统的趋势：GraphFlow 形式化验证（5月15日）、Microsoft AI Delegation 可靠性（5月15日）、双维度一致性（5月14日）。所有论文共享同一结论：主流 RLHF 方法对于生产代理工作负载是不够的——需要针对任务特定可靠性指标而非通用偏好对齐进行优化的专业训练目标。