AMD Primus Projection: Instinct GPU 클러스터에서 LLM 훈련 시작 전 메모리와 속도를 예측하는 도구

AMD는 ROCm 블로그에서 Primus Projection을 공개했습니다——ML 엔지니어가 클러스터 시간을 몇 시간씩 소비하기 전에 두 가지 실용적인 질문에 답해주는 도구입니다: “모델이 메모리에 들어갈 수 있습니까?” 그리고 “얼마나 빠르게 훈련됩니까?” 이 도구는 AMD Instinct GPU 가속기를 특별히 겨냥하며 기존 ROCm 스택과 통합됩니다.

이 도구는 정확히 무엇을 계산합니까?

Primus Projection은 분석 공식과 실제 GPU 벤치마킹을 결합하여 각 훈련의 두 가지 핵심 구성 요소를 평가합니다. 메모리 측면은 세 부분으로 분해됩니다: BF16 형식의 모델 파라미터, 옵티마이저 상태(FP32 마스터 가중치 + Adam 1차/2차 모멘트, 데이터 병렬 차원으로 샤딩), 활성화값——파이프라인이 역방향 패스를 위해 유지해야 하는 중간 결과로, 마이크로 배치 수와 MoE 라우팅 계수에 따라 스케일링됩니다.

속도 예측을 위해 도구는 두 가지 보완적 방법을 제공합니다. 이용 가능한 하드웨어(단일 GPU만으로도 가능)에서 대표적인 레이어를 벤치마킹하고, 병렬화 차원을 제거하여 전체 클러스터로 분석적 외삽할 수 있습니다——파이프라인 → 전문가 → 텐서 병렬. 또는 GPU를 사용할 수 없을 때 유용한 GEMM과 어텐션 분석 모델링을 통한 순수 CPU 시뮬레이션도 가능합니다.

특히 중요한 것은 통신 모델링 지원입니다: 위상 인식을 가진 AllReduce, All-to-All, P2P 집합체, 1F1B, 인터리브, 제로 버블 등의 파이프라인 스케줄링(GPU가 유휴 상태인 ‘버블’ 기간을 정밀하게 계산합니다).

예측의 정확도는 어느 정도입니까?

AMD에 따르면 예측은 실제 멀티 노드 측정 결과의 약 10% 오차 이내에 수렴합니다. 검증은 Llama와 같은 밀집 모델과 Mixtral과 같은 MoE 아키텍처에서 실시되었으며, 테스트 하드웨어는 AMD의 최신 Instinct 칩인 MI325X와 MI355X 가속기였습니다.

이러한 정확도의 가치는 구체적입니다: 엔지니어가 512개 GPU에서 72시간의 훈련이 필요하다고 추정한다면, 10% 오차는 약 65~79시간의 범위를 의미합니다——계획, 예산 책정, 합리적인 클러스터 시간 예약에 충분합니다.

이 도구는 누구를 위한 것입니까?

주요 대상은 AMD 인프라에서 작업하는 ML 엔지니어와 연구 팀——온프레미스 Instinct 클러스터이든 클라우드 파트너에서 컴퓨팅 파워를 임대하든 관계없이. 도구는 수년간 무제한 예산으로 ‘해보고 보는’ 접근 방식을 가진 팀에게 유리했던 실험의 ‘맹목적인’ 시작이라는 실질적인 장벽을 제거합니다.

더 광범위한 메시지는 AMD가 ROCm 주변의 소프트웨어 생태계를 지속적으로 발전시키고 있다는 것입니다——이는 역사적으로 Nvidia의 CUDA 세계에 비해 약점이었습니다. Primus Projection과 같은 도구와 Hugging Face와 PyTorch의 ROCm 지원 증가로 AMD를 대안으로 고려하는 팀의 ‘전환 비용’이 점진적으로 줄어들고 있습니다.