PyTorch: LinkedIn, DuaLip 솔버를 GPU에서 75배 가속

PyTorch Foundation은 LinkedIn이 극단적 규모의 최적화 문제를 해결하기 위해 분산 선형 계획법 솔버 DuaLip을 PyTorch로 재구성한 방법에 대한 사례 연구를 공개했다. 원래 도구는 프로세서에 묶인 Scala/Spark 스택에 의존했으나, 새로운 GPU 가속 버전은 DuaLip-GPU라는 이름을 갖는다.

LinkedIn에서 선형 계획법은 무엇을 해결하고 있었는가?

선형 계획법(LP)은 주어진 제약 조건 하에서 최선의 결정을 찾는 수학적 방법이다. LinkedIn에서는 다음 질문을 해결한다: 수백만 또는 수십억 개의 가능성 중에서, 제약 조건 하에서 최선의 행동 집합은 무엇인가? 구체적인 예로는 잠재 후보자와 일자리 연결, 랭킹 및 추천에서 여러 비즈니스 지표의 균형 조정, 발송 이메일 양의 최적화가 있다. 이러한 문제는 수억 명의 사용자와 최대 수조 개의 결정 변수를 포괄한다.

가속은 어떻게 달성되었는가?

PyTorch 구현은 세 가지 기법에 의존한다: 수십억에서 수조 개의 변수를 다루기 위한 희소(sparse) 텐서 연산, 집합 통신(all-reduce, broadcast)으로 동기화하며 변수를 GPU에 분배하는 분산 최적화, 그리고 행 정규화 및 가속 경사하강(AGD/FISTA 변형) 같은 수렴 개선이다.

결과는 어떤가?

연구는 8개 GPU에서 원래의 Scala 구현 대비 실시간 기준 최대 75배 빠른 반복을, CPU 시스템 대비 한 자릿수 단위의 가속을, 그리고 여러 GPU에 걸친 거의 선형적인 확장을 보고한다. 이 과정에서 정확도는 유지되었으며, 이는 LinkedIn이 “이전에는 실현 불가능했던 규모에서 프로덕션 최적화”를 수행할 수 있게 한다. 구현은 오픈소스로 제공된다.