arXiv:2606.20333: SoftSkill komprimira skill-dokumente u 32 latentna tokena i diže LiveMath za 42,1 boda

Rad arXiv:2606.20333 predstavlja SoftSkill, metodu koja skill-dokumente pretvara u kompaktne latentne kontrolne objekte. Skill-dokument je tekstualna uputa, primjerice Markdown datoteka SKILL.md, koja modelu opisuje kako obaviti određeni zadatak. Takve upute znaju zauzeti stotine ili tisuće tokena konteksta, što troši prozor i usporava izvođenje.

Kako radi behavioral compression

SoftSkill primjenjuje bihevioralnu kompresiju — uputu iz prirodnog jezika sažima u 32 virtualna (latentna) tokena koji usmjeravaju ponašanje modela, a da pritom ne mijenjaju težine baznog modela. Za razliku od fine-tuninga, koji prilagođava sam model, SoftSkill djeluje samo kroz dodane kontrolne tokene, pa se vještine mogu uključivati i isključivati po potrebi bez ponovnog treniranja.

Rezultati u brojkama

Na zadatku LiveMath SoftSkill donosi +42,1 postotnog boda u odnosu na rad bez vještine i +12,5 boda u odnosu na konkurentske metode. Na SearchQA postiže +8,3 boda nad osnovnim promptingom i +5,2 boda nad metodom SkillOpt. Usporedba pokazuje da sažeti latentni prikaz ne samo da štedi tokene, nego i nadmašuje izvorne tekstualne upute po točnosti.

Što to mijenja

Manji broj tokena znači niži trošak i brže izvođenje, posebno kod agenata koji žongliraju s više vještina istovremeno. Budući da bazni model ostaje netaknut, SoftSkill je kompatibilan s postojećim modelima i nudi praktičan put za modularno dodavanje sposobnosti. Pristup se uklapa u širi trend zamjene dugačkih sistemskih uputa kompaktnim, naučenim kontrolnim signalima.