arXiv:2606.06888：数据受限下的预训练——SoftQ 缩放定律与 MIR 正则化
一篇新论文研究了当算力增长快于可用文本数据时的语言模型预训练问题。它提出了掩码输入正则化（MIR）和 SoftQ 缩放定律，并估计 MIR 带来的收益相当于约 1.3 倍的独有数据量。代码已开源。
本文由人工智能基于一手来源生成。
研究人员于 2026 年 6 月 5 日在 arXiv 仓库发布了一篇论文（编号 arXiv:2606.06888），研究当可用的 compute（算力）增长快于可用的自然文本数据时的语言模型预训练（pre-training）问题。该论文提出了两项关键创新：正则化技术 MIR 和名为 SoftQ 的缩放定律。
数据短缺为何会成为问题？
现代语言模型在越来越多的算力上进行训练，但互联网上高质量、独有文本的数量并非无限。当算力增长快于可用数据时，团队就被迫多次使用相同的数据，这被称为数据重复曝光（data repetition）。
问题在于，重复相同的样本会导致过拟合（overfitting）——模型开始记忆数据，而不是学会泛化。论文 arXiv:2606.06888 正是针对这一情形，提出了能从有限数据集中提取更多有用信息的方法。
什么是掩码输入正则化（MIR）？
论文的核心贡献是 MIR（masked-input regularization），即通过掩码输入进行正则化。它是一种辅助的 next-token 损失（预测下一个 token），在训练期间针对随机掩码的输入计算。通过掩码一部分输入，模型被迫学习更稳健的表示，而不是依赖表层模式。
作者在规模从 7200 万到 14 亿参数的模型上测试了 MIR。结果表明，MIR + weight decay（权重衰减）的组合超越了单独使用权重衰减，并在 14 亿参数模型上带来了可测量的下游收益（预训练之后任务上的改善）。
SoftQ 缩放定律带来了什么？
第二项创新是 SoftQ，一种新的缩放定律（scaling law）。缩放定律用数学方式描述模型性能如何随模型规模和数据量的变化而变化。最著名的此类定律 Chinchilla 采用加性方法，无法很好地刻画数据重复曝光的情形。
SoftQ 正是为数据受限的条件而设计，因为它能在数据被重复时更好地建模模型规模与数据之间的相互作用。这为团队提供了一个更精确的工具，用于预测在真实的、数据受限的设置中究竟需要多少数据和参数。
这些收益价值几何，代码是否可用？
作者通过与数据量的对比来量化 MIR 带来的收益：他们估计这些改善大约相当于 1.3 倍的独有数据量。换言之，应用 MIR 后，模型从相同的数据集中提取的信息相当于从一个大得多的数据集中获得的信息。
对社区而言尤为相关的是，作者已将代码开源，从而让其他研究人员能够复现结果，并在自己的模型上测试 MIR 以及 SoftQ 缩放定律。在人们日益谈论逼近可用数据上限的时代，这类方法可能会成为预训练配方中的标准组成部分。
常见问题
- 什么是掩码输入正则化（MIR）？
- MIR（masked-input regularization）是一种辅助损失（loss），它在预训练期间对随机掩码的输入预测下一个 token。它充当一种正则化形式，帮助模型在相同数据被多次重复时更好地泛化。论文中将其与权重衰减（weight decay）结合，并超越了单独使用权重衰减的效果。
- 什么是 SoftQ 缩放定律？
- SoftQ 是一种新的缩放定律（scaling law），它描述了在相同数据被重复曝光的情况下，模型损失如何随模型规模和数据量变化。与 Chinchilla 的加性方法不同，SoftQ 在数据受限时能更好地捕捉模型规模与可用数据之间的相互作用。
- MIR 在实践中带来多少收益？
- 作者估计 MIR 带来的收益大约相当于 1.3 倍的独有数据量。在一个 14 亿参数的模型上还记录到了可测量的下游收益。代码已作为开源发布。
📬 AI 新闻直达您的邮箱
按您的方式定制每日摘要——自选主题、来源和频率，一键退订。