arXiv:2607.15267: 通过论坛上的计算宣传对语言模型预训练数据下毒

这项关于数据下毒的新研究揭示了什么？

来自艾伦人工智能研究所（Allen Institute for AI）与华盛顿大学圈子的团队——Victoria Graf、Hannaneh Hajishirzi、Noah A. Smith、David Kohlbrenner和Kyle Lo——表明，预训练数据（pretraining data，语言模型在任何微调之前学习所依赖的文本语料）容易通过论坛和评论区等公共讨论界面遭到下毒。这涉及”第三方网页内容”——由第三方而非网站所有者撰写的内容——而这此前尚未被系统性地作为一种攻击向量加以研究。

HalfLife方法

五位作者提出了HalfLife，这是一种分析方法，用于衡量注入的恶意文本能否在进入最终预训练数据集之前，存活过整个网络爬取与数据整理（清洗和过滤所收集数据的过程）链条。HalfLife不仅仅观察最终结果，而是追踪内容在每个处理阶段的情况，从原始爬取到去重和质量过滤。

论坛与维基百科的区别在哪里？

维基百科及类似的受控来源在发布前会经过编辑审查和审核，因此插入恶意文本更困难，也更容易被迅速发现。论坛评论没有这层控制——任何人都可以发布文本，随后爬虫会将其与页面其余内容一并抓取，而不会核实作者身份或意图。

为什么这对语言模型安全性很重要

以往关于数据下毒的研究大多聚焦于受控或半自动化的来源。这项工作将焦点转向”计算宣传”（computational propaganda）——一种以操纵为目的、经协调且借助软件手段传播内容的方式——将其视为一条现实的下毒路径，可直接影响那些从开放网络学习、且没有中间环节过滤评论作者身份的模型。