arXiv：DiRL——区分语言模型强化学习训练中推理与记忆的方向感知方法

来自多所大学的研究团队于2026年6月9日在arXiv上发布了一篇论文，提出了一种名为DiRL（Direction-Aware Reinforcement Learning，方向感知强化学习）的语言模型强化学习（RL）训练新方法。作者——Jiangnan Xia、Yucheng Shi、Yu Yang、Kishan Panaganti、Zhenwen Liang和Ninghao Liu——识别出了一个此前未被充分解决的根本性问题：标准的解空间探索方法奖励轨迹多样性，但不区分这种多样性是真正推理的结果还是记忆捷径的结果。

根本问题：每条新路径都不一定是新想法

当模型生成一个与之前尝试不同的新token序列时，现有方法将其登记为成功的探索并分配奖励。但作者表明，轨迹看起来新颖可能源于两种完全不同的原因：

• 模型应用了新的逻辑过程——真正的推理（reasoning）
• 模型改变了表面形式，但依赖于相同的记忆模式和捷径（shortcuts）

同等对待这两种情况意味着奖励系统在不知不觉中鼓励模型通过记忆而非发展通用推理策略来优化奖励。这尤其危险，因为记忆捷径的模型在接近训练数据的测试集上可能表现出色——但一旦遇到表述不同或需要不同逻辑步骤的问题就会轻易失败。

DiRL是什么，它如何区分推理和记忆？

DiRL通过引入推理-记忆方向（reasoning-memorization direction）解决这一问题，该方向直接从模型的内部表征中提取。这是一个潜在向量，描述模型在生成特定轨迹时向哪个极——推理还是记忆——移动。

基于这一方向，构建了方向加权梯度特征（direction-weighted gradient features）：一种数学描述，为每次模型参数更新分配一个度量，衡量其与推理极的接近程度还是与记忆极的接近程度。

然后，奖励根据这一度量进行塑造（shaped）：

• 强化与推理方向对齐的探索
• 抑制与记忆方向对齐的变体

关键的实践优势在于，DiRL集成到标准GRPO（组相对策略优化）中，无需任何模型架构更改。不需要特殊层、外部分类器或昂贵的手动数据标注——所需的一切都包含在模型在训练过程中已经构建的内部表征中。

在数学和通用基准测试上的评估

作者在一组数学和通用推理基准测试上评估了DiRL，与现有的多样性探索方法相比，该方法表现出显著改进。论文以12页、6个图表的结构，可视化了有DiRL和无DiRL的模型行为差异。

在不同类型任务上的一致改进表明，推理-记忆方向是模型的通用特征——而非特定数据集或领域的产物。作者强调，正是这种通用性构成了该方法相对于针对特定任务类别优化的方法的根本优势。

为什么推理-记忆的区分超越了数学

这项工作的影响超越了数学任务。每当语言模型通过强化学习进行训练——用于指令遵循、解决编程代码、在代理系统中规划步骤或多步骤逻辑推理——都存在模型通过记忆模式而非发展通用策略来优化奖励的潜在风险。

现有的探索方法试图通过在token或梯度层面增加多样性来解决这一问题，但未能洞察这种多样性对模型内部状态真正意味着什么。DiRL直接从模型的表征中带来这种洞察：与其在表面层面测量多样性，不如在推理和记忆之间的差异结构上体现之处进行测量。

CC BY 4.0许可证下的开放方法论

该方法论在CC BY 4.0（知识共享署名4.0）许可证下发布，这意味着它可供学术和工业研究中自由应用、改编和进一步构建。

对于从事语言模型强化学习后训练的研究团队，DiRL提供了一个原则性且架构上轻量的工具，用于提高探索质量——无需改变管道的基础。包含代码和方法细节的预印本可在arXiv上获取（ID: 2606.10346）。