arXiv:2606.20333:SoftSkill将技能文档压缩为32个潜在token,LiveMath提升42.1分
SoftSkill是arXiv:2606.20333论文描述的一种方法,将技能文档(如Markdown SKILL.md文件)转换为指导模型行为的紧凑连续潜在对象,而无需修改基础模型。SoftSkill仅使用32个虚拟token,在LiveMath任务上比无技能提示提升了42.1个百分点。
本文由人工智能基于一手来源生成。
论文 arXiv:2606.20333 提出了 SoftSkill,一种将技能文档转换为紧凑潜在控制对象的方法。技能文档是一种文本指令,例如描述模型如何完成特定任务的 Markdown 文件 SKILL.md。此类指令有时占据数百或数千个上下文 token,既消耗窗口又降低执行效率。
行为压缩的工作原理
SoftSkill 应用行为压缩——将自然语言指令压缩为 32个虚拟(潜在)token,引导模型行为,而不改变基础模型的权重。与调整模型本身的微调不同,SoftSkill 仅通过附加的控制 token 发挥作用,因此可以按需开启和关闭技能,无需重新训练。
数字化的结果
在 LiveMath 任务上,SoftSkill 比无技能模式高出 +42.1个百分点,比竞争方法高出 +12.5分。在 SearchQA 上,比基线提示高 +8.3分,比 SkillOpt 方法高 +5.2分。比较结果表明,压缩的潜在表示不仅节省token,在准确率上也超越了原始文本指令。
这意味着什么
更少的token意味着更低的成本和更快的执行速度,尤其对于同时调用多个技能的智能体而言。由于基础模型保持不变,SoftSkill与现有模型兼容,并为模块化添加能力提供了实用路径。这一方法契合了用紧凑的学习控制信号替代冗长系统提示的更广泛趋势。
常见问题
- SoftSkill做什么?
- SoftSkill将技能文档转换为32个连续潜在token,在不改变模型权重的情况下引导模型行为。
- 性能提升多少?
- 在LiveMath任务上比无技能提示高42.1个百分点,比竞争方法高12.5分;在SearchQA上比基线提示高8.3分。
- 基础模型会被修改吗?
- 不,基础模型保持不变;SoftSkill仅通过潜在控制token发挥作用。