PyTorch：LinkedIn 将求解器 DuaLip 在 GPU 上加速 75 倍

PyTorch 基金会发布了一则案例研究，介绍 LinkedIn 如何在 PyTorch 上改造其分布式线性规划求解器 DuaLip，以求解极端规模的优化问题。原始工具依赖于绑定处理器的 Scala/Spark 栈，而新的 GPU 加速版本则命名为 DuaLip-GPU。

线性规划在 LinkedIn 上解决了什么问题？

线性规划（LP）是一种在给定约束下寻找最佳决策的数学方法。在 LinkedIn 上，它解决的问题是：在数百万或数十亿种可能性中，受约束条件下的最佳行动组合是什么？具体示例包括将职位与潜在候选人匹配、在排序和推荐中平衡多项业务指标，以及优化发送电子邮件的数量。这类问题涉及数亿用户和多达数万亿的决策变量。

加速是如何实现的？

PyTorch 实现依赖三项技术：对稀疏（sparse）张量的操作以处理数十亿到数万亿的变量；通过将变量分配到各 GPU 并以集合通信（all-reduce、broadcast）进行同步的分布式优化；以及行归一化和加速梯度下降（AGD/FISTA 变体）等收敛性改进。

结果如何？

该研究指出，在 8 个 GPU 上，每次迭代的实际耗时比原始 Scala 实现快达 75 倍，相较 CPU 系统实现了数量级的加速，并在多 GPU 上实现近乎线性的扩展。与此同时精度得以保持，这使 LinkedIn 能够「在以往无法实现的规模上进行生产级优化」。该实现已作为开源发布。