arXiv:2606.04557: Cartridges at Scale komprimira KV cache na milijune tokena

Što donosi rad Cartridges at Scale?

Cartridges at Scale je znanstveni rad objavljen 3. lipnja 2026. na arXivu pod oznakom arXiv:2606.04557 (verzija v1) koji skalira kompresiju KV cachea jezičnih modela na kolekcije dokumenata veće od milijun tokena. KV cache (key-value memorija koju model gradi dok čita ulazni tekst) tradicionalno raste linearno s duljinom konteksta, što velike kolekcije čini skupima i sporima za obradu. Rad pokazuje da se “cartridge” pristup, dosad ograničen na manje količine teksta, može proširiti na milijunske kontekste.

Koliko su veliki dobici u točnosti?

Pri istom budžetu tokena metoda poboljšava rezultate za 10 do 31 bod u odnosu na monolitne cartridgeove, odnosno cartridgeove koji cijelu kolekciju sažimaju u jedan blok. Umjesto jednog velikog sažetka, Cartridges at Scale gradi više manjih, specijaliziranih cartridgea i njima upravlja zajedno. Razlika u rezultatu raste s veličinom kolekcije, što potvrđuje da monolitni pristup gubi informacije pri velikim kontekstima.

Koliko je metoda blizu punog in-context learninga?

Točnost takozvanog oracle cartridgea ostaje unutar 2 do 6 bodova od punog in-context learninga (učenja u kojem model ima cijeli sadržaj izravno u promptu) čak i pri visokoj kompresiji. To je važan rezultat jer pokazuje da agresivno sažimanje memorije ne mora značajno žrtvovati kvalitetu odgovora. Oracle cartridge u radu služi kao gornja granica koju praktične varijante nastoje dostići.

Kako se Cartridges at Scale uspoređuje s RAG-om?

U kombinaciji s retrievalom (dohvaćanjem relevantnih dijelova kolekcije) metoda postiže točnost ekvivalentnu RAG-u (Retrieval-Augmented Generation), ali uz 3 do 4 puta manje prompt tokena. RAG je standardni pristup koji u prompt ubacuje dohvaćene odlomke teksta, no time troši mnogo tokena. Cartridges at Scale isti rezultat ostvaruje s bitno manjim promptom, što izravno smanjuje trošak po upitu i ubrzava generiranje odgovora.

Koje tehnike omogućuju skaliranje?

Rad uvodi dvije ključne komponente. Prva je dynamic distractor mixing, tehnika treniranja koja u proces ubacuje zbunjujuće distraktorske primjere kako bi cartridge naučio bolje razlikovati relevantan od nebitnog sadržaja. Druga je memorijski efikasan budget manager koji raspoređuje resurse na stotine cartridgea po dokumentu bez prekoračenja dostupne memorije. Zajedno te komponente omogućuju da pristup ostane praktičan i pri kolekcijama većima od milijun tokena, gdje bi naivno upravljanje memorijom brzo postalo neodrživo.

Zašto je ovo važno za praksu?

Za organizacije koje rade s velikim bazama dokumenata, primjerice pravnim arhivima, tehničkom dokumentacijom ili znanstvenom literaturom, Cartridges at Scale nudi konkretan put do nižih troškova bez gubitka kvalitete. Smanjenje prompt tokena 3 do 4 puta uz zadržavanje RAG-ekvivalentne točnosti znači jeftiniju i bržu produkciju, što je presudno kod sustava s velikim brojem upita. Rad time pokazuje da kompresija memorije pažnje može postati standardni alat za rad s milijunskim kontekstima.