arXiv:2607.09415：自引导测试时训练将长上下文LLM提升最高15%

随机测试时训练的问题

测试时训练（TTT）是在推理过程中在测试输入本身上更新模型参数——模型临时适应其正在处理的具体文档，无需预先在类似数据上训练。这个想法直观上很吸引人：如果模型在回答问题之前「研究」文档，它应该更精确。

问题在于选择确切要训练什么。研究人员表明，在随机文本区间上的TTT——从长文档中随机选取的片段——实际上会损害性能，因为模型吸收了无关信息并在参数中引入噪声。相比之下，在包含确切相关证据的「oracle」区间上的TTT则大有帮助。随机和oracle方法之间的差距激发了S-TTT方法的开发。

S-TTT如何弥合这个差距？

自引导测试时训练（S-TTT）解决问题无需辅助模型，无需额外参数：模型在适应之前自主识别长文档中的证据区间。第一步，模型评估哪些片段与给定问题最相关。第二步，仅在这些选定区间上训练，然后生成答案。

该方法在两个模型上进行了测试——Qwen3-4B-Thinking-2507和Llama-3.1-8B-Instruct——这表明该方法适用于不同的架构，而不仅仅是专业化模型。测试任务来自LongBench-v2和LongBench-Pro集，需要理解长达数十万token的文档。

最高15%的相对改进

研究人员报告称，与没有TTT适应的基线模型相比，在LongBench-v2和LongBench-Pro上实现了最高15%的相对性能改进。作为参考：在已建立的长上下文推理任务中，这个范围内的改进是显著的，尤其是在不对模型架构或训练数据集进行任何更改的情况下。

S-TTT方法的关键优势是其简单性：它不需要单独的检索模型，没有新的可训练参数，并且不在单次推理时长之外修改模型。适应是暂时的——参数在每个新输入时重置，因此查询之间不会积累错误。