arXiv:2607.08733：「超级权重」揭示选择性微调失败之谜——COLM 2026接收论文
《LLM中的超级权重》是一篇被COLM 2026接收的论文，识别出「超级权重」——少量参数，其改变对语言模型行为产生不成比例的影响。论文表明，正是这些权重解释了为何仅对部分层进行选择性微调往往会失败，对PEFT和LoRA方法具有直接影响。
🤖
本文由人工智能基于一手来源生成。
论文《Super Weights in LLMs and the Failure of Selective Training》（arXiv:2607.08733），作者为Subramanian、Akinfaderin和Sehwag，已被COLM 2026（语言建模会议）接收。论文识别出「超级权重」——语言模型中极少量参数，其改变对模型行为产生不成比例的影响，程度远超其数量所应有的作用。
为何少数参数如此重要？
对于拥有数十亿参数的模型，直觉上每个参数都微不足道。论文却展示了相反的情况：存在少量如此具有影响力的权重，改变或忽略它们会使模型输出发生剧烈偏移。这些超级权重就像关键节点——影响力集中于极小的参数子集之中。
对微调的影响
这一发现直接解答了实践中一个由来已久的谜题：为何只更新部分层的选择性微调有时无法达到全量训练的效果。如果某种方法错过了超级权重，它可能改变了数百万个参数，却仍然达不到期望的效果。这对LoRA和适配器调整等参数高效方法（PEFT）尤其相关——这些方法因节省内存和时间而成为当今标准，但根据本论文，代价是可能跳过最重要的权重。
实用价值
对于进行模型微调的团队，这一发现提供的是诊断，而不仅仅是谜题：在选择选择性方法之前，值得检验该方法是否触及了关键参数。论文契合2026年7月关于模型内部结构研究的广泛浪潮——从可解释性到提取攻击——这些研究越来越将前沿模型视为需要被理解的系统，而非仅在基准测试上加以衡量。
常见问题
- 语言模型中的「超级权重」是什么？
- 极少量参数，其改变对整个模型产生不成比例的影响——大到若将其排除在训练之外，结果会发生剧变。
- 为何选择性微调会失败？
- 因为只更新部分层的方法可能错过超级权重——即便改变了数百万个其他参数，微调也无法达到预期效果。
- 这一发现与谁相关？
- 与所有使用LoRA或适配器调整等参数高效方法的人相关——论文解释了为何这些方法有时无法达到全量微调的效果。