arXiv:2606.04557: Cartridges at Scale komprimiert den KV-Cache auf Millionen Token

Was bringt die Arbeit Cartridges at Scale?

Cartridges at Scale ist eine am 3. Juni 2026 auf arXiv unter der Kennung arXiv:2606.04557 (Version v1) veröffentlichte Forschungsarbeit, die die Kompression des KV-Cache von Sprachmodellen auf Dokumentsammlungen von über einer Million Token skaliert. Der KV-Cache (der Key-Value-Speicher, den ein Modell beim Lesen des Eingabetextes aufbaut) wächst traditionell linear mit der Kontextlänge, was große Sammlungen teuer und langsam in der Verarbeitung macht. Die Arbeit zeigt, dass sich der bislang auf kleinere Textmengen beschränkte „Cartridge”-Ansatz auf Kontexte in Millionenhöhe ausweiten lässt.

Wie groß sind die Genauigkeitsgewinne?

Bei gleichem Token-Budget verbessert die Methode die Ergebnisse um 10 bis 31 Punkte gegenüber monolithischen Cartridges, also Cartridges, die eine gesamte Sammlung in einen einzigen Block zusammenfassen. Statt einer großen Zusammenfassung baut Cartridges at Scale mehrere kleinere, spezialisierte Cartridges und verwaltet sie gemeinsam. Der Unterschied im Ergebnis wächst mit der Größe der Sammlung, was bestätigt, dass der monolithische Ansatz bei großen Kontexten Informationen verliert.

Wie nah ist die Methode am vollen In-Context-Learning?

Die Genauigkeit des sogenannten Oracle-Cartridge bleibt selbst bei hoher Kompression innerhalb von 2 bis 6 Punkten des vollen In-Context-Learning (Lernen, bei dem das Modell den gesamten Inhalt direkt im Prompt hat). Das ist ein wichtiges Ergebnis, denn es zeigt, dass eine aggressive Speicherkompression die Antwortqualität nicht wesentlich opfern muss. Das Oracle-Cartridge dient in der Arbeit als Obergrenze, die praktische Varianten zu erreichen suchen.

Wie schneidet Cartridges at Scale im Vergleich zu RAG ab?

In Kombination mit Retrieval (dem Abrufen relevanter Teile der Sammlung) erreicht die Methode eine zu RAG (Retrieval-Augmented Generation) äquivalente Genauigkeit, jedoch mit 3- bis 4-mal weniger Prompt-Token. RAG ist der Standardansatz, der abgerufene Textpassagen in den Prompt einfügt, dabei aber viele Token verbraucht. Cartridges at Scale erzielt dasselbe Ergebnis mit einem deutlich kleineren Prompt, was die Kosten pro Anfrage direkt senkt und die Antwortgenerierung beschleunigt.

Welche Techniken ermöglichen die Skalierung?

Die Arbeit führt zwei zentrale Komponenten ein. Die erste ist dynamic distractor mixing, eine Trainingstechnik, die verwirrende Distraktor-Beispiele in den Prozess einbringt, damit ein Cartridge lernt, relevante von irrelevanten Inhalten besser zu unterscheiden. Die zweite ist ein speichereffizienter budget manager, der Ressourcen auf Hunderte Cartridges pro Dokument verteilt, ohne den verfügbaren Speicher zu überschreiten. Zusammen ermöglichen diese Komponenten, dass der Ansatz auch bei Sammlungen von über einer Million Token praktikabel bleibt, wo eine naive Speicherverwaltung schnell untragbar würde.

Warum ist das für die Praxis wichtig?

Für Organisationen, die mit großen Dokumentbeständen arbeiten, etwa juristischen Archiven, technischer Dokumentation oder wissenschaftlicher Literatur, bietet Cartridges at Scale einen konkreten Weg zu geringeren Kosten ohne Qualitätsverlust. Die Reduzierung der Prompt-Token um das 3- bis 4-fache bei gleichzeitig RAG-äquivalenter Genauigkeit bedeutet eine günstigere und schnellere Produktion, was für Systeme mit hohem Anfragevolumen entscheidend ist. Die Arbeit zeigt damit, dass die Kompression des Aufmerksamkeitsspeichers zu einem Standardwerkzeug für die Arbeit mit Millionen-Token-Kontexten werden kann.