AMD Primus Tuning Agent自动为MI355X集群寻找最优LLM配置

在多节点GPU集群上手动配置大型语言模型训练是AI基础设施中最昂贵的工程任务之一。参数的组合空间——并行度、调度、micro-batch大小、MoE后端——达到数万个有效配置，每个在集群上的完整遍历都需要数小时的GPU时间。AMD ROCm团队以Primus Tuning Agent工具作为回应，自动搜索这一空间。

Primus Tuning Agent：LLM训练配置自动化

智能体在拥有64个GPU的4节点AMD Instinct MI355X集群上验证，使用FP8精度的Mixtral 8×22B模型，全局批次大小512，序列长度8,192 token。目标指标是每GPU吞吐量——每秒每张卡生成的token数。

配置空间包括五个并行度维度（张量、流水线、专家、上下文和数据并行），micro-batch大小从1到8，重计算粒度（无/选择性/完整），MoE后端（All-to-All对比DeepEP），以及各种流水线调度（1F1B、交错、零气泡变体）。拓扑上有效的点数约为10的四次方——暴力搜索在实践中不可行。

智能体如何搜索组合配置空间？

Primus Tuning Agent采用结合确定性与LLM引导推理的两阶段方法。

第一阶段，确定性种子规划器依次遍历每个参数轴——固定其他所有值并测量改变单一参数的效果。这种单轴扫描建立参考点并消除明显的弱选项，无需代价高昂的跨轴实验。

第二阶段，LLM引导的探索循环使用带LiteLLM路由的DSPy规划器识别单轴扫描未能发现的组合。LLM考虑轴间的权衡——例如MoE后端选择如何影响流水线调度的最优性——并提出候选配置进行测量。智能体支持OpenAI、Anthropic和其他LLM提供商，无需独立的代理基础设施。

分析性内存预过滤器在不运行GPU内核的情况下评估每个候选配置。在案例研究中，过滤器以零GPU成本排除了30个试验配置中的7个，排除了那些分析上超过可用内存的配置。这对搜索的可扩展性至关重要。

Mixtral 8×22B和MI355X集群上的结果

智能体找到了实现每GPU 4,402 token/秒的配置，比AMD公布的BF16参考值3,475 tok/s/GPU提升27%。预计最优结果为4,908 tok/s/GPU（+41.2%），智能体记录了预测与测量值之间约10%的乐观偏差——这是已知特性，不是异常。

找到改进的关键在于跨轴协同：DeepEP MoE后端、特定流水线调度和重计算粒度的组合在单轴扫描中不可见，也无法从各轴独立优化的朴素假设中得出。LLM引导的循环通过推理确定性规划器结构上无法考虑的权衡识别了这种协同。

整个搜索历时约30分钟，主要由单节点分析数据驱动，然后推算到全集群场景。

集成与可重现性

智能体记录搜索的每个阶段：探索了哪些轴、应用了哪些内存过滤器，以及预计结果如何与测量值比较。每次运行均可重现和审计，这对需要在组织内或以不同LLM在探索循环中重复实验时证明基础设施决策合理性的团队非常重要。

带LiteLLM层的DSPy框架意味着用户可以使用自己的LLM端点进行探索循环，使搜索成本保持受控且独立于特定云提供商。对OpenAI、Anthropic和其他提供商的支持无需独立的代理基础设施，降低了智能体设置的操作开销。

对于扩展AMD Instinct工作负载的团队，Primus Tuning Agent提供了从初始配置到可测量改进的可重现路径——无需在昂贵的集群时间上进行数周手动实验。预计收益**+41.2%和测量值+27%**与工具本身记录的预测差异保持一致，使产能规划结果比依赖基准测试表格更为可靠。