arXiv:2605.22337: Meta-Soft uvodi kompresiju KV cachea kroz composable meta-tokene i naučljive ortogonalne baze

ArXiv preprint Meta-Soft objavljen 21. svibnja 2026. predstavlja novu metodu za dinamičku kompresiju KV cachea tijekom LLM inferencije, koja kombinira tri tehnike: naučljivu ortogonalnu baznu matricu, selektorsku mrežu za izbor tokena, i attention-flow mehanizam za preraspoređivanje informacija. Eksperimentalno nadmašuje postojeće KV cache eviction metode (StreamingLLM, H2O, SnapKV) na većini long-context benchmark-a, uz manju degradaciju kvalitete.

Što je KV cache i zašto je njegova kompresija ključna?

Kad LLM generira token, mora pristupiti attention key i value vektorima za sve prethodne tokene u kontekstu. Ti vektori se cache-aju u GPU memoriji da se ne moraju recomputirati za svaki novi token. Za Llama 3 70B s 100K token kontekstom KV cache zauzima oko 40 GB — što je veće od težina samog modela za neke konfiguracije.

Problem je posebno akutan za long-context modele (1M+ token konteksti u Gemini 1.5 Pro, GPT-4.1 i Claude Opus 4.7). Bez kompresije, batch size mora pasti na 1-2 zahtjeva po GPU-u što ekonomski upropastuje deployment. Sve frontier modeli koriste neku formu KV cache optimizacije u produkciji, ali postojeće tehnike imaju trade-off: brišu tokene (eviction) ili kvantiziraju (quantization), oba s mjerljivim padom kvalitete na dugom kontekstu.

Kako Meta-Soft drukčije pristupa problemu?

Meta-Soft ne briše tokene niti ih kvantizira. Umjesto toga generira sintetičke meta-tokene koji sažimaju informacije iz više originalnih tokena u jedan komprimirani entitet. Generacija ide kroz dvije komponente:

1. Naučljiva ortogonalna bazna matrica B: tijekom fine-tuning faze model uči matricu B oblika [d × k] gdje je d dimenzionalnost embeddinga (npr. 4096) a k je broj baznih vektora (npr. 256). Matrica B je ortogonalna (B^T B = I) što garantira da projekcija prema bazi i natrag minimalno gubi informacije.

2. Selektorska mreža S: za grupu od n tokena (npr. n=8), selektor odlučuje koliko meta-tokena će ih zamijeniti — od 1 do n. Selektor je mala feed-forward mreža trenirana na minimizaciji loss-a kvalitete uz target cache budget.

Output je meta-token koji geometrijski leži u istom embedding prostoru kao originalni tokeni, ali sintetizira informacije iz više njih. Downstream layeri attention-ove dobivaju manji broj tokena u cacheu, ali svaki nosi više informacija.

Što je attention-flow i zašto je ključan?

Kad se grupa od 8 originalnih tokena zamijeni s 2 meta-tokena, attention weighteve koje su buduće layeri trebali alocirati na 8 tokena moraju se preraspodijeliti na 2. Naivna alokacija (samo zbroj weighteva) rezultira distorzijom — neki attention head koji je gledao samo na token #3 iz originala sad gleda na meta-token #1 koji uključuje informacije i drugih tokena.

Attention-flow rješava ovo training-time procedurom: tijekom fine-tuning faze, model uči mapping od originalnih attention weighteva na meta-token weighteve, čuvajući semantičku ekvivalenciju. Naoružan tim mappingom, runtime inferencija preraspoređuje attention weighteve na novi cache reprezentaciju bez treninga.

Što su eksperimentalni rezultati?

Autori testiraju na four benchmark-ima: LongBench (general long-context), Needle-in-Haystack (information retrieval test), RULER (multi-needle reasoning), i SCBench (50+ subtasks). Komparativno s baseline-ima:

• StreamingLLM (drop middle tokens): -8 do -15 posto kvalitete pri 4× kompresiji
• H2O (heavy hitter eviction): -5 do -10 posto kvalitete pri 4× kompresiji
• SnapKV (importance-based eviction): -3 do -8 posto kvalitete pri 4× kompresiji
• Meta-Soft (ovaj rad): -1 do -3 posto kvalitete pri 4× kompresiji

Pri 8× kompresiji razlike rastu — Meta-Soft je oko -4 do -7 posto, dok SnapKV pada na -12 do -18 posto. Throughput improvement je linearno proporcionalan kompresiji: 4× kompresija KV cachea znači 3,8× više batch size na istom GPU-u (lagani overhead od selektor mreže).

Praktične implikacije za deployment?

Meta-Soft zahtijeva fine-tuning model na bazne matrice i selektor — što nije plug-and-play. Autori objavljuju pre-trained varijante za Llama 3 70B, Qwen 2.5 72B, i Mistral Large 2. Za production deployment na frontier modele (GPT-5, Claude) potrebno bi bilo da provider implementira metodu interno — Meta-Soft sam ne radi za zatvorene modele.

Trenutno potencijalni adopters su open-source inference platforme (vLLM, TGI, SGLang) koje bi mogle podržati Meta-Soft kao alternativu postojećim KV cache strategijama. Autori su otvorili reference implementaciju u svom GitHub repozitoriju.