vLLM Semantic Router v0.3 'Themis'：生产级的有状态查询路由

vLLM 团队于 2026 年 6 月 5 日发布了其 Semantic Router 的 v0.3 “Themis” 版本，由此推出了首个可用于生产的、在模型之间路由查询的工具版本。本次发布面向那些在真实企业级环境中需要可靠、可预测地管理流向语言模型的流量的团队。

什么是 Semantic Router，它有何用途？

Semantic Router 是一个决定每个传入查询应发往何处的组件。它不会将所有查询都发往同一个模型，而是分析它们的含义和内容，并将其路由到最适合该类型查询的模型。由此实现回答质量与处理成本之间更好的平衡。

迄今为止，这种方法往往局限于实验性设置。通过 Themis 版本，vLLM 团队释放出信号：该技术已成熟到可以在生产中可靠使用的水平。

v0.3 “Themis” 凭什么可用于生产？

可用于生产的关键在于若干项创新。Themis 带来了规范化配置，这意味着设置 router 有了清晰界定且标准化的方式。与之相伴的还有一条可检视的流程，它追踪从信号、经由决策、直到所应用 policy（路由规则）的完整路径。

这种透明度使运维团队能够理解某个查询为何被路由到某个特定模型。这是在生产中可靠维护系统的前提，因为在生产中，错误的路由可能影响回答的质量和成本。

有状态路由相比无状态带来了什么？

最突出的变化之一是向有状态路由的转变。在无状态方法中，每个路由决策都被孤立做出，不考虑上下文。与之相反，有状态方法在做出决策时会考虑状态，从而实现更一致的行为。

此外，Themis 为 Kubernetes 部署带来了可复现的路由行为。这意味着 router 在相同条件下将做出相同的决策，而这对测试、排错和对系统运行的审查都很重要。

它为企业级推理栈带来哪些好处？

Themis 明确面向那些需要确定性、可审计流量路由的企业级推理栈。本次发布的重点放在更安全的运维上，其中包括 CLI 与仪表盘的对齐，以使命令行与图形界面下的行为相一致。

对于处理大量、流向多个模型的查询的组织而言，Semantic Router 的这一版本提供了一个工具，让它们能够透明地管理流量，并对每个所做决策进行事后核查。由此，router 的运行从一个黑盒转变为一个可以追踪和核查的过程。

为什么可用于生产是一个里程碑？

从实验性工具向可用于生产工具的转变之所以重要，是因为只有那时技术才能可靠地承载真实流量。在查询路由中，错误或不可预测的决策可能意味着更昂贵的回答、更差的质量，或更难的排错。

Themis 通过规范化配置、可复现性以及从信号到决策的可检视流程的组合来回应这些要求。对于构建企业级推理栈的团队而言，这意味着它们可以在不丧失对系统控制的前提下引入智能查询路由。由于这是 vLLM 团队的一个开源项目，组织可以根据自身需求定制 router 并审计其行为，而这在企业环境中往往是采用新技术的前提。