arXiv:2606.20333: SoftSkill komprimiert Skill-Dokumente in 32 latente Tokens und steigert LiveMath um 42,1 Punkte

Die Studie arXiv:2606.20333 stellt SoftSkill vor, eine Methode, die Skill-Dokumente in kompakte latente Steuerobjekte umwandelt. Ein Skill-Dokument ist eine Textanweisung, beispielsweise eine Markdown-Datei SKILL.md, die dem Modell beschreibt, wie eine bestimmte Aufgabe auszuführen ist. Solche Anweisungen können hunderte oder tausende Kontext-Tokens belegen, was das Kontextfenster verbraucht und die Ausführung verlangsamt.

Wie Behavioral Compression funktioniert

SoftSkill wendet Behavioral Compression an — es komprimiert Anweisungen in natürlicher Sprache in 32 virtuelle (latente) Tokens, die das Modellverhalten steuern, ohne dabei die Gewichte des Basismodells zu verändern. Im Gegensatz zum Fine-Tuning, das das Modell selbst anpasst, wirkt SoftSkill nur durch hinzugefügte Steuerungs-Tokens, sodass Skills bei Bedarf ohne erneutes Training ein- und ausgeschaltet werden können.

Ergebnisse in Zahlen

Auf der LiveMath-Aufgabe liefert SoftSkill +42,1 Prozentpunkte gegenüber dem Betrieb ohne Skill und +12,5 Punkte gegenüber konkurrierenden Methoden. Auf SearchQA erreicht es +8,3 Punkte über Baseline-Prompting und +5,2 Punkte über die SkillOpt-Methode. Der Vergleich zeigt, dass die komprimierte latente Darstellung nicht nur Tokens spart, sondern auch die ursprünglichen Textanweisungen in der Genauigkeit übertrifft.

Was sich dadurch ändert

Weniger Tokens bedeuten geringere Kosten und schnellere Ausführung, insbesondere bei Agenten, die gleichzeitig mehrere Skills jonglieren. Da das Basismodell unberührt bleibt, ist SoftSkill mit bestehenden Modellen kompatibel und bietet einen praktischen Weg zur modularen Erweiterung von Fähigkeiten. Der Ansatz fügt sich in den breiteren Trend ein, lange Systemprompts durch kompakte, erlernte Steuersignale zu ersetzen.