AWS SageMaker指南：多轮强化学习中奖励与评估比算法更重要

AWS发布了一份关于Amazon SageMaker AI平台多轮强化学习的全面指南。文档的焦点不在于奇特的算法，也不在于基础设施扩展——其核心论点简单而直接，且与通常假设相悖：奖励函数的质量和评估的独立性决定训练是否能产生有用的智能体，这远比强化学习算法的选择或超参数配置重要得多。

奖励与评估比算法更重要

多轮强化学习与标准强化学习的区别在于，智能体需要在多个轮次中做出连续决策，上下文随交互次数的增加而增长。SageMaker AI为此提供了模块化的智能体与环境接口、带受控离策略滞后的异步轨迹数据收集，以及原生算法：PPO、CISPO和重要性采样损失。该平台还提供序列扩展训练以管理长轨迹，并集成MLflow用于按轮次追踪。

然而，指南明确指出：没有任何算法捷径能弥补设计不佳的奖励函数或独立性不足的评估。这两个要素必须在训练开始前正确设置。AWS定义了清晰的优先级层次：收集并划分有代表性的数据、构建严格隔离的环境、定义独立的测试集、建立基线性能——然后再设计奖励并启动训练。

奖励函数设计中最常见的陷阱是什么？

第一个陷阱是强化学习语境下的古德哈特定律：智能体优化奖励指标却未解决真实任务。AWS文档列举了奖励欺骗的具体指标——若训练奖励上升而验证奖励持平，或基础模型在训练集上获得的奖励高于外部评估所显示的结果，这表明奖励解析器遗漏了评估标准更严格评判的案例。解决方案是收紧解析器并对新轨迹进行离线审查。

第二个陷阱是二元奖励。若一组中所有轨迹获得相同分数——全零或全一——梯度消失，训练停滞。指南建议使用密集奖励函数，即使最终答案不正确，也对朝向解决方案的进展给予部分积分。诊断时需追踪rollout/reward/zero_frac——奖励为零的轨迹占比——若占比过高，应将group_size从8降至4。

第三个陷阱是自我评估：一个自己衡量自己成功与否的系统无法检测自身的奖励欺骗。AWS强调必须在独立的测试集上进行独立外部评估，且评估标准应比训练奖励中使用的标准更为严格。衡量泛化能力与衡量独立于奖励欺骗之间的区别，是指南明确强调的关键区分。

多轮对话中的上下文管理

多轮智能体面临单轮强化学习中不存在的特定问题：上下文随交互次数增加而增长，可能在计算上变得过于昂贵或在语义上过时。AWS建议将max_turns设置为ceil(N × 1.5)，其中N对应有经验的人类完成同一任务所需的典型轮次数。若超过**5%**的响应达到每轮令牌上限，则需增加sampling_max_tokens，因为响应在上限处的聚集表明存在结构性约束。

追踪训练健康状况的关键指标有四个：奖励为零的轨迹占比（zero_frac）、因分数一致而被丢弃的轨迹组占比（zero_adv_groups），以及单次尝试（pass_k_1）和八次尝试（pass_k_8）在验证集上的通过率。若pass_k_1下降或停滞而zero_adv_groups保持高位，则需减小group_size或增加轨迹多样性。

一种特别危险的情况是策略崩溃：训练40至80步后奖励突然降至接近零。AWS建议设置async_config.max_steps_off_policy = 0，并酌情从CISPO切换至PPO。通常在干预后25至50步内趋于稳定。

具体成果与工具

AWS指南通过飞机检验的SOP-Bench基准测试来说明上述原则。初始训练尝试——包含并行任务、不一致的单样本示例和错误的输出标签格式——产生了不稳定且效果不佳的结果。经过针对性修正（专注单一任务、一致的示例、正确的输出标签），精调模型将任务成功率提升了13%，字段精度提升了约16%。

在实施层面，SageMaker提供MultiTurnRLTrainer和MultiTurnRLEvaluator作为高级抽象，提供SOP-Bench数据集用于标准化基准测试，并集成MLflow用于按每个单独轮次追踪轨迹。对于训练完成的智能体的生产部署，建议使用Bedrock AgentCore。

该指南面向为实际任务构建智能体的机器学习工程师——从客户请求解决到内容审核。其核心结论不受领域限制：投资于真正严格隔离的训练环境和真正独立的评估，所带来的收益远超对算法和超参数的反复迭代。