GitHub:Copilot HyDRA路由器自动选择模型,节省72.5%成本且质量不变
GitHub推出了HyDRA模型路由器,可根据推理深度、代码复杂度和工具编排需求为Copilot自动选择AI模型。HyDRA在保持质量的前提下节省72.5%的成本;保守模式下任务解决率70.8%,成本比OpenRouter Auto低3.3倍。新增提示词缓存和工具搜索功能,19种语言下路由精度与英语基准相差不超过4个百分点。
本文由人工智能基于一手来源生成。
GitHub介绍了 HyDRA,一种模型路由器,使Copilot能够为每项任务自动选择最合适的AI模型,从而在不损失质量的前提下降低成本。
按任务复杂度路由
HyDRA是一种模型路由器,根据四项标准选择AI模型:推理深度、代码复杂度、调试难度以及工具编排需求。与其让每个请求都使用同一个大型模型不同,简单任务使用更便宜的模型,复杂任务使用更贵的模型。这样就避免了将昂贵的推理能力浪费在简单查询上。
与竞品相比的可量化节省
GitHub报告称,在保持质量的前提下可 节省72.5%的成本。在保守模式下,HyDRA的任务 解决率达70.8%,成本比OpenRouter Auto低 3.3倍。此外还新增了提示词缓存——复用模型对重复前缀的状态以减少冗余处理——以及工具搜索,按需获取工具定义而无需预先全部加载。
多语言下的表现如何?
在19种语言和16个语系中,路由精度与英语基准 相差不超过4个百分点,多语言用户不会在模型选择质量上有所损失。自动模式仅在缓存的自然边界(首次交互或压缩后)激活,从而保持缓存效率。
常见问题
- 什么是HyDRA?
- 一种模型路由器,根据推理深度、代码复杂度和工具需求为Copilot自动选择AI模型。
- HyDRA能节省多少成本?
- 保持质量的前提下节省72.5%;保守模式下解决率70.8%,成本比OpenRouter Auto低3.3倍。