arXiv:2605.22337: Meta-Soft führt KV-Cache-Komprimierung mit komponierbaren Meta-Token und lernbaren orthogonalen Basen ein

Das arXiv-Preprint Meta-Soft vom 21. Mai 2026 stellt eine neue Methode zur dynamischen KV-Cache-Komprimierung bei LLM-Inferenz vor, die drei Techniken kombiniert: eine lernbare orthogonale Basismatrix, ein Selector-Netzwerk zur Token-Auswahl und einen Attention-Flow-Mechanismus zur Umverteilung von Informationen. Es übertrifft experimentell bestehende KV-Cache-Eviction-Methoden (StreamingLLM, H2O, SnapKV) auf den meisten Long-Context-Benchmarks mit geringerer Qualitätsdegradation.

Was ist KV-Cache und warum ist seine Komprimierung entscheidend?

Wenn ein LLM einen Token generiert, muss es auf Attention-Key- und Value-Vektoren für alle vorherigen Token im Kontext zugreifen. Diese Vektoren werden im GPU-Speicher gecacht. Für Llama 3 70B mit 100K-Token-Kontext belegt der KV-Cache ca. 40 GB — bei manchen Konfigurationen mehr als die Modellgewichte selbst.

Das Problem ist besonders akut bei Long-Context-Modellen (1M+ Token-Kontext in Gemini 1.5 Pro, GPT-4.1 und Claude Opus 4.7). Ohne Komprimierung muss die Batch-Größe auf 1–2 Anfragen pro GPU sinken, was das Deployment wirtschaftlich unrentabel macht.

Wie unterscheidet sich Meta-Softs Ansatz?

Meta-Soft löscht und quantisiert keine Token. Stattdessen generiert es synthetische Meta-Token, die Informationen mehrerer Originaltoken in eine einzige komprimierte Einheit zusammenfassen. Die Generierung läuft über zwei Komponenten:

1. Lernbare orthogonale Basismatrix B: Während des Fine-Tunings lernt das Modell eine Matrix B der Form [d × k], wobei d die Embedding-Dimensionalität (z. B. 4096) und k die Anzahl der Basisvektoren (z. B. 256) ist. B ist orthogonal (B^T B = I), was minimalen Informationsverlust bei Projektion und Rückprojektion garantiert.

2. Selector-Netzwerk S: Für eine Gruppe von n Token entscheidet der Selektor, wie viele Meta-Token sie ersetzen (1 bis n). Es ist ein kleines Feedforward-Netzwerk, trainiert auf Minimierung des Qualitätsverlustes bei einem Ziel-Cache-Budget.

Was ist Attention-Flow?

Wenn 8 Originaltoken durch 2 Meta-Token ersetzt werden, müssen die Attention-Gewichte umverteilt werden. Attention-Flow löst dies durch ein Training-Time-Verfahren: Das Modell lernt ein Mapping von originalen Attention-Gewichten zu Meta-Token-Gewichten, das semantische Äquivalenz erhält.

Experimentelle Ergebnisse bei 4× Komprimierung

• StreamingLLM: −8 bis −15 % Qualität
• H2O: −5 bis −10 % Qualität
• SnapKV: −3 bis −8 % Qualität
• Meta-Soft: −1 bis −3 % Qualität

Bei 8× Komprimierung: Meta-Soft −4 bis −7 %, SnapKV −12 bis −18 %. 4× KV-Cache-Komprimierung ergibt 3,8× mehr Batch-Größe auf demselben GPU. Die Autoren veröffentlichen vorab trainierte Varianten für Llama 3 70B, Qwen 2.5 72B und Mistral Large 2.