AMD Primus Tuning Agent, MI355X 클러스터에서 최적의 LLM 구성을 자동으로 탐색

멀티노드 GPU 클러스터에서 대규모 언어 모델 훈련을 수동으로 구성하는 것은 AI 인프라에서 가장 비용이 많이 드는 엔지니어링 작업 중 하나입니다. 파라미터의 조합론적 공간—병렬성, 스케줄, 마이크로배치 크기, MoE 백엔드—은 수만 개의 유효한 구성에 달하며, 각각의 클러스터 전체 실행에는 수 시간의 GPU 시간이 필요합니다. AMD ROCm 팀이 이 공간을 자동으로 탐색하는 도구 Primus Tuning Agent로 응답했습니다.

Primus Tuning Agent: LLM 훈련 구성 자동화

에이전트는 4노드 AMD Instinct MI355X 클러스터 (총 64개 GPU)에서 FP8 정밀도, 글로벌 배치 크기 512, 시퀀스 길이 8,192 토큰으로 Mixtral 8×22B 모델을 사용하여 검증되었습니다. 목표 메트릭은 GPU당 처리량—카드당 초당 생성된 토큰 수—이었습니다.

구성 공간은 다섯 가지 병렬성 차원(텐서, 파이프라인, 전문가, 컨텍스트, 데이터), 1에서 8까지의 마이크로배치 크기, 재계산 세분성(없음/선택적/전체), MoE 백엔드(All-to-All 대 DeepEP), 다양한 파이프라인 스케줄(1F1B, Interleaved, Zero-Bubble 변형)을 포함합니다. 위상적으로 유효한 포인트의 수는 약 10의 4제곱에 달합니다—무차별 대입 방식의 탐색은 실용적이지 않습니다.

에이전트는 어떻게 조합론적 구성 공간을 탐색합니까?

Primus Tuning Agent는 결정론과 LLM 기반 추론을 결합한 2단계 접근 방식을 사용합니다.

첫 번째 단계에서 결정론적 시드 플래너는 각 파라미터 축을 순서대로 독립적으로 순회합니다—다른 모든 값을 고정하고 하나의 파라미터 변경의 효과를 측정합니다. 이 단축 스윕은 기준점을 설정하고 비용이 많이 드는 교차 축 실험 없이 명백히 약한 옵션을 제거합니다.

두 번째 단계에서 LLM 기반 탐색 루프는 단축 스윕이 포착하지 못한 조합을 식별하기 위해 LiteLLM 라우팅을 갖춘 DSPy 플래너를 사용합니다. LLM은 축 간의 트레이드오프—예를 들어, MoE 백엔드 선택이 파이프라인 스케줄의 최적성에 어떻게 영향을 미치는지—를 고려하고 측정할 후보 구성을 제안합니다. 에이전트는 별도의 프록시 인프라 없이 OpenAI, Anthropic 및 기타 LLM 제공업체를 지원합니다.

분석적 메모리 사전 필터는 GPU 커널을 실행하지 않고 각 후보 구성을 평가합니다. 사례 연구에서 필터는 30개 시험 구성 중 7개를 분석적으로 가용 메모리를 초과하는 것들을 제외하여 GPU 비용 없이 거부했습니다. 이는 탐색 확장성을 위해 중요합니다.

Mixtral 8×22B와 MI355X 클러스터에서의 결과

에이전트는 GPU당 4,402 토큰/초를 달성하는 구성을 찾았으며, 이는 AMD의 공개 BF16 기준인 3,475 tok/s/GPU 대비 **+27%**의 측정된 처리량 향상을 나타냅니다. 투영된 최적 결과는 4,908 tok/s/GPU(+41.2%)이며, 측정값 대비 문서화된 ~10% 낙관적 편향이 있습니다—에이전트는 이를 이상 현상이 아닌 알려진 특성으로 기록합니다.

발견된 개선의 핵심은 교차 축 시너지에 있습니다: DeepEP MoE 백엔드, 특정 파이프라인 스케줄, 재계산 세분성의 조합은 단축 스캔에서도 축이 독립적으로 최적화된다는 단순한 가정에서도 보이지 않았습니다. LLM 기반 루프는 결정론적 플래너가 구조적으로 고려할 수 없는 트레이드오프에 대해 추론하여 이 시너지를 식별했습니다.

전체 탐색은 ~30분 걸렸으며, 주로 단일 노드 프로파일링 데이터에 의해 구동되어 전체 클러스터 시나리오로 외삽됩니다.

통합 및 재현성

에이전트는 탐색의 각 단계를 문서화합니다: 어떤 축이 탐색되었는지, 어떤 메모리 필터가 적용되었는지, 투영된 결과가 측정값과 어떻게 비교되는지. 각 실행은 재현 가능하고 감사 가능하며, 이는 조직 내에서 인프라 결정을 정당화하거나 탐색 루프에서 다른 LLM으로 실험을 반복해야 하는 팀에게 중요합니다.

LiteLLM 레이어를 갖춘 DSPy 프레임워크는 사용자가 탐색 루프에 자체 LLM 엔드포인트를 사용할 수 있음을 의미하므로, 탐색 비용이 제어되고 특정 클라우드 제공업체에 독립적으로 유지됩니다. OpenAI, Anthropic 및 기타 제공업체 지원이 별도의 프록시 인프라 없이 제공되어 에이전트 설정의 운영 오버헤드를 줄입니다.

AMD Instinct 워크로드를 확장하는 팀에게 Primus Tuning Agent는 비용이 많이 드는 클러스터 시간에서 수주의 수동 실험 없이 초기 구성에서 측정 가능한 개선까지의 재현 가능한 경로를 제공합니다. 투영된 **+41.2%**와 측정된 **+27%**는 도구 자체가 문서화한 투영 차이와 일관성을 유지하여 용량 계획 결과를 벤치마크 표만으로 하는 것보다 더 신뢰할 수 있게 합니다.