arXiv:2606.05610：用于持续预训练的可预测超参数缩放定律

一篇发布于 arXiv（编号 2606.05610）、发表于 2026年6月4日 的科研论文提出了一个框架，通过经验性缩放定律预测大语言模型持续预训练（continued pre-training）过程中的最优超参数。其目标是用可预测、可计算的规则取代昂贵的手动超参数搜索。

什么是持续预训练，问题出在哪里？

持续预训练（CPT）是这样一个阶段：已训练好的 LLM 在新的语料库上进行额外的预训练——例如为了适配特定领域、语言或数据分布。与从零训练不同，它从已有权重出发，这改变了诸如学习率或调度等超参数的设置方式。此前这些超参数大多靠实验摸索，既计算昂贵又不可靠，因为最优设置取决于计算量与模型特性。

该框架如何预测超参数？

论文提出了一种基于经验性缩放定律的两阶段方法——所谓缩放定律即将计算量与模型行为联系起来的数学关系。第一阶段借助代理模型推导出将 compute（计算资源）映射为最优设置的函数。代理模型是更小、更廉价的模型，用于在将结果外推到目标更大模型之前校准定律。由此，最优设置得以提前估计，而非穷举搜索。

什么是”等效预训练 compute”？

第二阶段引入了从检查点验证损失（validation loss）估计等效预训练 compute 的方法。其思路是：将模型当前的状态——通过其在验证集上的损失来刻画——转换为一个量，用以表达该检查点相当于多少”等效”的预训练。这一估计将模型的真实状态与第一阶段的缩放定律联系起来，从而无需重新进行昂贵搜索即可为后续训练更精确地选择设置。

成本降低了多少？

该框架的实际价值在于节省。作者指出，该方法在取得相当或更优性能的同时，将超参数搜索成本最多降低 90%。这一点意义重大，因为在大模型上的超参数搜索可能消耗训练总预算中的相当一部分。通过可预测的规则，这部分成本被大幅消除，而结果质量仍保持在手动找到的设置之上或与之持平。

为何与模型无关很重要？

该框架被描述为与模型无关——它不绑定于某一种架构或特定模型，而是可以更广泛地应用于不同的 LLM。这提升了它在实践中的实用性，因为进行持续预训练的团队无需为每个模型重新开发方法论。结合两阶段流程与经验性缩放定律，该框架为以更廉价、更可预测的方式将大模型适配到新数据，提供了一套系统化、可迁移的配方。