arXiv:2606.04557：Cartridges at Scale 将 KV 缓存压缩扩展到百万级 token

Cartridges at Scale 论文带来了什么？

Cartridges at Scale 是一篇于 2026 年 6 月 3 日发布在 arXiv 上、编号为 arXiv:2606.04557（v1 版本）的科研论文，它将语言模型 KV 缓存的压缩扩展到超过一百万 token 的文档集合。KV 缓存（模型在阅读输入文本时构建的 key-value 记忆）传统上随上下文长度线性增长，这使得大型集合的处理既昂贵又缓慢。该论文表明，迄今为止仅限于较少文本量的 “cartridge” 方法，可以扩展到百万级上下文。

准确率的提升有多大？

在相同 token 预算下，该方法相比单体 cartridge（即把整个集合浓缩成一个块的 cartridge）将结果提升了 10 到 31 分。Cartridges at Scale 不是构建一个大的摘要，而是构建多个更小、更专门化的 cartridge 并共同管理它们。结果差距随集合规模增大而扩大，这证实了单体方法在大型上下文中会丢失信息。

该方法与完整的 in-context learning 有多接近？

即使在高压缩率下，所谓 oracle cartridge 的准确率仍保持在完整 in-context learning（模型直接在 prompt 中拥有全部内容的学习方式）的 2 到 6 分 范围内。这是一个重要结果，因为它表明激进的记忆压缩不必显著牺牲回答质量。论文中的 oracle cartridge 作为上限，是实用变体力图达到的目标。

Cartridges at Scale 与 RAG 相比如何？

在结合检索（提取集合中相关部分）的情况下，该方法达到与 RAG（检索增强生成，Retrieval-Augmented Generation）相当的准确率，但所需的 prompt token 减少 3 到 4 倍。RAG 是一种标准方法，它把检索到的文本段落注入 prompt，但因此消耗大量 token。Cartridges at Scale 用明显更小的 prompt 实现相同结果，从而直接降低每次查询的成本并加快回答生成。

哪些技术使扩展成为可能？

论文引入了两个关键组件。第一个是 dynamic distractor mixing，一种在过程中注入令人混淆的干扰性样本的训练技术，使 cartridge 学会更好地区分相关内容与无关内容。第二个是内存高效的 budget manager，它在每个文档上调度数百个 cartridge 的资源，而不会超出可用内存。这两个组件共同使该方法即便在超过一百万 token 的集合上也保持实用，而在这种规模下，朴素的内存管理会很快变得不可行。

这对实践为何重要？

对于处理大型文档库的组织而言，例如法律档案、技术文档或科学文献，Cartridges at Scale 提供了一条在不损失质量的前提下降低成本的具体路径。将 prompt token 减少 3 到 4 倍同时保持与 RAG 相当的准确率，意味着更便宜、更快的生产，这在拥有大量查询的系统中至关重要。该论文由此表明，注意力记忆压缩可以成为处理百万级上下文的标准工具。