arXiv:2607.08733:「超级权重」揭示选择性微调失败之谜——COLM 2026接收论文
《LLM中的超级权重》是一篇被COLM 2026接收的论文,识别出「超级权重」——少量参数,其改变对语言模型行为产生不成比例的影响。论文表明,正是这些权重解释了为何仅对部分层进行选择性微调往往会失败,对PEFT和LoRA方法具有直接影响。
189 条新闻
《LLM中的超级权重》是一篇被COLM 2026接收的论文,识别出「超级权重」——少量参数,其改变对语言模型行为产生不成比例的影响。论文表明,正是这些权重解释了为何仅对部分层进行选择性微调往往会失败,对PEFT和LoRA方法具有直接影响。
SensorFM 是 Google 用于可穿戴设备健康数据的基础模型,基于来自 100 多个国家 500 万用户的 Fitbit 和 Pixel Watch 超过万亿分钟的信号训练而成。在 35 项任务中赢得 34 项,分类任务 AUC 提升 +9%,回归任务相关性提升 +21%。
Aurora 1.5 是微软的开源地球系统基础模型,在 88.9% 的评估变量和预报时效上超越 ECMWF 集合预报。新版本新增 22 个气象变量、小时级分辨率和概率集合预报,针对飓风 Helene 的路径误差比初代 Aurora 降低约 33%。
GPT-5.6 是 OpenAI 推出的全新模型家族,包含三款变体:Sol(旗舰推理)、Terra(均衡型)和 Luna(高容量、成本高效型)。新增程序化工具调用、显式提示缓存控制、持久化推理及多智能体编排测试版,首日即登陆 GitHub Copilot。
Muse Spark 1.1 是 Meta Superintelligence Labs 面向智能体任务的多模态推理模型,上下文窗口达百万 token。模型可协调子智能体、在多个应用中导航工作流,并接受图像、视频和 PDF 输入,现已通过 Meta Model API 公开预览,并在 Meta AI 应用的 Thinking 模式中可用。
Grok 4.5 是 xAI 面向编程和智能体任务的新旗舰模型,输入价格为每百万 token 2 美元,输出 6 美元。支持可配置的推理强度(low/medium/high),已在 Perplexity 的 Agent API 中上线,以激进价格大幅低于同类前沿模型。
Mistral推出Robostral Navigate,这是首款面向具身机器人导航的80亿参数模型。该模型仅使用单个RGB摄像头,无需LiDAR或深度传感器,在R2R-CE基准测试的未见环境中达到76.6%的成功率,超越多传感器竞争对手4.5个百分点。
OpenAI推出GPT-Live,这是一款专为自然、生动的对话式AI交互而设计的新语音模型。该模型从发布第一天起便集成于ChatGPT Voice,是语音模型加速研发周期的成果——距GPT-Realtime-2.1发布仅两天。技术规格和定价目前尚未公布。
Anthropic与AE Studio发布GRAM(梯度路由辅助模块)——这一方法在训练期间将病毒学、网络安全、核物理等两用知识隔离到可移除的神经网络模块中,允许单次训练生成具有不同能力集合的多个模型变体。
Meta超级智能实验室推出Muse Image和Muse Video——两款以智能体模式运行的模型,内部调用代码和网络搜索工具,在Arena排行榜上同时占据第2和第3位,并强制嵌入Content Seal水印。
清华大学和智谱AI的研究人员提出了Direct On-Policy Distillation(Direct-OPD)——一种将强化学习收益从较弱的教师模型迁移给较强学生的方法,无需模仿最终策略,在AIME 2024上实现了从48.3%到62.4%的跃升。
Anthropic研究人员利用全新的Jacobian lens(J-lens)技术,在Claude内部识别出一种名为J-space的涌现内部结构。受神经科学全局工作空间理论启发,J-space作为隐式内部推理空间运作,在模型输出中不可见,但能揭示幻觉、识别测试场景以及植入的恶意目标等隐藏行为。
Amazon Web Services为Nova模型发布了基于反向直接偏好优化(rDPO)的选择性遗忘技术。通过LoRA适配器实现,无需完全重新训练,该技术可将不必要的拒绝率降低多达53.74个百分点,同时对模型实用性影响极小。
OpenAI于2026年7月6日发布了两款全新实时语音模型——GPT-Realtime-2.1和GPT-Realtime-2.1-mini,可在现有v1/realtime端点上使用。新模型在字母数字序列识别、静音和噪音处理以及对话中断处理等方面均有改进。
Amazon Bedrock扩展了模型目录,新增三款开放权重MiniMax模型——拥有百万token上下文的M2、专为深度推理和编码设计的M2.1,以及采用2300亿参数混合专家架构、面向智能体应用的M2.5。
伊利诺伊大学的研究人员开发了ReContext——一种推理时技术,在三种LLM架构和八个基准测试中递归重放长上下文窗口中的相关证据,一致改善性能,无需重新训练。
Liyan Tang、Fangcong Yin和Greg Durrett开发了VRRL——一种强化学习框架,通过轨迹前缀遮蔽和经验回放,迫使视觉-语言模型将自我反思锚定在真实视觉输入上,在分布偏移样本上取得显著更好的效果。
Anthropic于7月1日恢复了Claude Fable 5和Claude Mythos 5的访问权限,距其因美国出口管制而下架已近三周。此次复出伴随着一款改进版安全分类器的部署,以及关于越狱严重性评级行业框架的提案。
AWS GovCloud(US)在 Amazon Bedrock 上新增六款模型:OpenAI 开放权重模型 gpt-oss-120b 和 gpt-oss-20b,以及四款支持 100 万 token 上下文的 NVIDIA Nemotron 模型。基础设施满足 FedRAMP High、DoD IL 2/4/5、ITAR 和 CJIS 要求,并采用零运营商访问设计。
GitHub 宣布两项 Copilot 功能正式发布(GA):Vision 支持在聊天提示中附加图片和 PDF,浏览器工具使 VS Code 中的智能体能够控制真实浏览器。两项功能均对所有套餐开放,无需管理员操作。
Anthropic 今日发布 Claude Sonnet 5——该模型能够规划多步骤任务、操控浏览器与终端,在核心任务上的表现接近 Opus 4.8,同时提供 2026 年 8 月 31 日前每百万 token 输入 $2、输出 $10 的入门价格,以及 100 万 token 上下文窗口。
历经 18 天全球停用后,Anthropic 宣布重新部署 Fable 5:美国政府于 6 月 30 日解除出口管制,改进后的安全分类器在超过 99% 的情况下能够阻断已发现的绕过技术。
2026 年 6 月 30 日,Google 同时发布 Gemini Omni Flash(用于对话式视频编辑)和 Nano Banana 2 Lite(用于快速图像合成)。视频模型每秒输出收费 0.10 美元,图像模型每千张仅需 0.034 美元。
Google Research 发布 TabFM,这是一个面向表格数据的基础模型,可在单次前向传播中给出零样本预测,无需调整超参数和特征工程。该模型在 TabArena 基准测试中取得顶级 Elo 评分,已在 Hugging Face 和 GitHub 上发布,并宣布将集成至 Google BigQuery。
Brain2Qwerty v2是Meta Research的AI系统,利用MEG扫描仪在无需手术的情况下将脑信号转化为文字。单词识别平均准确率达61%,是其他非侵入式方法(8%)的七倍。训练代码和数据集已开源发布。
Claude Opus 4.8快速模式现已进入GitHub Copilot用户的预览阶段,在保持模型智能水平的同时显著加快输出token生成速度。与此同时,Anthropic终止了Opus 4.6的快速模式——快速模式能力集中到唯一剩余的支持模型。
DiScoFormer是Allen Institute for AI(AI2)的Transformer模型,在单次前向传播中同时估计密度函数(分布密度)和得分函数——此前需要两个独立模型。它将KDE推广至高维空间,无需重新训练即可适应新分布。
Tandem RL是一种训练语言模型的新方法,将RLVR(带可验证奖励的强化学习)与串联方法结合:更强的模型在生成思维链时与冻结的较弱模型协作。在Qwen3-4B上,它在保持同等性能的同时显著提升可读性和向小模型迁移时的鲁棒性。
MAI-Code-1-Flash 是微软专有的编程模型,于 2026 年 6 月 26 日在 GitHub Copilot Business 和 Enterprise 方案中正式发布。该模型针对低延迟和高频智能体编程工作流进行了优化,按提供商定价的用量计费,管理员须在组织设置中显式启用。
arXiv:2606.26935 研究(Jingyu Liu 等人)表明,LLM 智能体的思维链(CoT)训练收益流向更强的直接动作预测,而非更广泛的推理优势。后期检查点更少因 CoT 修改动作,而对 action-token 掩盖监督信号则提升了域外泛化能力。
arXiv:2606.26502 研究(Han-yu Wang)发现,大型推理模型(LRM)在最终出错的任务上消耗的 token 多于答对的任务,与人类在困难任务上选择放弃的行为相反。差距显著(H-ARC 基准 Cohen's d 为 1.47–3.13),所有五款测试模型均呈现与人类相反的模式。
GPT-5.6 Sol是OpenAI发布的下一代预览模型,目前处于预览状态(尚未正式发布),在编码、科学推理和网络安全方面能力增强,并配备迄今最先进的安全体系。
Anthropic统一了所有模型的API速率限制——Sonnet和Haiku现在在三个使用层级(Start、Build、Scale)上享有与Opus相同的配额。同时,Claude Opus 4.7的快速模式将于7月24日弃用。
研究人员证明,仅测量单一模型单次尝试的标准基准低估了LLM真实能力达82%。通过引入能力前沿框架——在21个模型和16个基准上使用帕累托最优性——可以在降低85%成本的同时达到相同准确率。
Google通过冻结多令牌预测技术将Pixel 9和10上的Gemini Nano推理速度提升了50%以上——每次前向传播平均生成约2个令牌,每实例节省130MB内存,且输出结果完全不变。
对来自21家提供商的67个前沿模型的研究引入了共同失败上限概念——LLM集成准确率的上界,由所有模型在同一查询上失败的比率决定。结果表明,若无查询级路由,组合模型鲜少超越单一最强模型。
Google Research揭示了推理轨迹通过两种机制改善模型权重中存储事实的提取——计算缓冲区和事实启动——在Gemini 2.5和Qwen3-32B上进行了测试。
OPPO是一个强化学习系统,用于训练全模态语言模型同时理解视觉、听觉和文本情绪线索,抑制跨模态幻觉,并在MER-UniBench和MME-Emotion两个基准数据集上达到最优水平。
RaDaR是专为罕见病诊断训练的320亿参数开源推理LLM。在随机对照试验中,相较于互联网搜索,它将医生诊断准确率提升了21.44个百分点,并能在61%的病例中提前临床记录识别出正确诊断。
Google Research研究人员表明,针对真实性、公平性和可纠正性等有益特征进行RL训练,可在50余个独立OOD基准中超过80%的基准上取得提升——包括训练领域以外的其他领域。
DiffusionGemma是谷歌260亿参数MoE模型,采用扩散方法并行生成文本。在单张H100 GPU上每秒生成超过1000个令牌,比标准自回归模型快4倍,但质量相较Gemma 4有所妥协。
谷歌推出Gemini 3.5 Live Translate——支持70余种语言和2000多种语言组合的实时语音转语音翻译系统,保留原讲话者的语调,并通过SynthID水印保护合成音频。
DART是一种无需任何训练即可决定AI模型是否需要深度思考的路由方法,可将思考令牌消耗减少15–69%,同时在代码测试中将准确率提升最高22.5分。
Mistral OCR 4是一款新的光学字符识别模型,在OlmOCRBench上以85.20分位居榜首,支持170种语言,并带来段落级边界框——每1000页定价4美元。
PyTorch团队与SGLang在2026年4月至6月期间,将NVIDIA GB300架构上DeepSeek-V4 Pro模型的服务吞吐量从约2,200提升至超过11,200令牌/秒/GPU——在不牺牲终端用户交互性的前提下实现了5倍提升。
DiffusionGemma 是谷歌在连续潜在空间中运行的扩散语言模型。一项由 Neel Nanda 领衔的 13 位作者研究表明,其初始不透明度比 Gemma 4 高 28.6 倍,但可解释性令牌瓶颈将该差距缩小至仅 1.1 倍。
SSD(空间投机解码)是一种新方法,可在自回归图像生成过程中同时预测像素的水平和垂直邻居,在DPG-Bench和GenEval基准测试中实现最高13.3倍的加速,且不损失视觉质量。
TimeProVe是一个通过引入两阶段「提议再验证」方法来加速大型视觉语言模型在长视频上推理的框架。它将高成本模型的调用次数减少75%,总推断成本降低93%,并在新的OpenTSUBench基准测试中超越最强竞争对手7.3个百分点。
VIMPO是一种面向LLM推理的新型强化学习方法,从KL正则化RL中推导出隐式价值函数,无需独立的评论家网络。在包括AIME 2024和AIME 2025在内的四个数学基准测试上超越GRPO,且在噪声奖励条件下优势依然稳定。
SoftSkill是arXiv:2606.20333论文描述的一种方法,将技能文档(如Markdown SKILL.md文件)转换为指导模型行为的紧凑连续潜在对象,而无需修改基础模型。SoftSkill仅使用32个虚拟token,在LiveMath任务上比无技能提示提升了42.1个百分点。