vLLM：会话感知智能体路由将模型切换减少 79%

vLLM 项目推出了 会话感知智能体路由（SAAR），这是其 Semantic Router 的一项新功能。SAAR 在做出模型选择决策时会考虑整个智能体对话的流程，而非将每条消息当作独立事件处理。

SAAR 究竟解决了什么？

此前的模型路由可能为每条消息选择不同的模型，在长时间的智能体对话中，这会导致不必要且可能不安全的切换。SAAR 将控制权从单条消息层面转移到整个会话层面，从而保持对话的连贯性。该机制会区分被禁止的切换——例如在与工具的活跃循环过程中——以及被允许的切换，后者发生在空闲之后或任务变更之时。

测试结果如何？

在跨五个随机种子、每个种子 40 个会话、每个会话 18 个回合分布的 21,600 个确定性回合中，SAAR 将模型切换次数减少了 79.29%，从 9,709 次降至 2,011 次。原本有 3,836 次的不安全切换被减少到零。预估成本下降了 78.71%。在 AMD ROCm 上对 2,896 个请求的实际应用中，记录到零次连续性违规。

SAAR 由哪些部分组成？

SAAR 在现有的路由流程之上增加了五个组件。Router Memory 跟踪上一次使用的模型、阶段和缓存证据，与应用本身的内存分开。Hard Locks 防止在与工具的活跃循环以及由提供方管理的不可转移状态期间发生切换。Reset Boundaries 在空闲或决策变更后重新开放模型选择。Switch Economics 将丢失前缀缓存的成本计入考量，使得不同模型层级之间的切换变得不对称，而 Replay Traces 则记录路由决策，以便于监控和排错。

为什么会话层面的方法很重要？

智能体系统越来越多地进行漫长的多步对话，其中模型会调用工具并在多个回合中构建上下文。将每条消息单独处理可能会打断这种上下文并引入不一致，尤其是在任务进行中途切换模型时。SAAR 向会话层面连贯性的转变正是解决了这一问题，同时带来可量化的成本节省和更高的智能体流程可靠性。