AMD: MI300X의 추측 디코딩이 추론을 4.3배 가속
AMD는 ROCm 블로그에서 Instinct MI300X GPU 상의 추측 디코딩 구현을 소개했다. 더 작은 draft 모델이 토큰을 예측하고 더 큰 모델이 이를 검증하는 이 기법은, 기존 자기회귀 생성 대비 최대 4.3배 높은 처리량을 달성했다.
이 기사는 AI가 1차 출처를 기반으로 생성했습니다.
AMD는 자사 ROCm 블로그에서 Instinct MI300X 가속기 상의 추측 디코딩 구현을 공개했다. 추측 디코딩은 더 작은 draft 모델이 일련의 토큰을 예측하고 더 큰 타깃 모델이 이를 병렬로 검증하는, 대규모 언어 모델 추론 가속 기법이다. 이를 통해 출력 품질을 잃지 않으면서 토큰 단위의 느린 생성을 피한다.
시스템은 어떻게 구성되었나?
AMD는 draft 모델로 Llama-3.2-1B-Instruct를, 타깃 모델로 Llama-3.1-70B-Instruct를 사용했다. 분산 구성은 다섯 개의 MI300X GPU를 활용했는데, 네 개는 큰 타깃 모델을 분할하는 데, 한 개는 draft 모델에 할당되었다. 소프트웨어 계층은 ROCm 7.2, PyTorch 2.9.1, FlashInfer로 구성되었으며, 모두 자동화된 준비 과정을 갖춘 Docker 환경 안에서 동작했다.
가속은 어느 정도인가?
alpaca, c4, ultrafeedback, humaneval 벤치마크에서의 측정은 뚜렷한 이득을 보였다. 자기회귀 생성은 초당 52.32 토큰을 냈고, 표준 추측 디코딩은 138.06 토큰을, 진보된 변형은 무려 초당 225.86 토큰을 냈다. 이는 기본 접근법보다 4.32배 빠르고, 기존 추측 디코딩보다 1.64배 빠른 생성을 의미한다.
왜 중요한가?
더 높은 처리량은 모델 서빙 비용과 사용자 지연 시간을 직접적으로 줄인다. 이 시연은 AMD 하드웨어가 성숙한 ROCm 소프트웨어 스택과 함께라면, 그동안 경쟁 플랫폼에 묶여 있던 가속 기법을 제공할 수 있음을 보여준다.
자주 묻는 질문
- 추측 디코딩이란 무엇인가요?
- LLM 추론을 가속하는 기법으로, 더 작은 draft 모델이 토큰을 미리 예측하고 더 큰 타깃 모델이 이를 병렬로 검증하여 느린 단계의 수를 줄입니다.
- MI300X에서 어느 정도의 가속이 달성되었나요?
- AMD는 초당 225.86 토큰의 처리량을 제시하는데, 이는 자기회귀 생성보다 4.32배, 표준 추측 디코딩보다 1.64배 빠릅니다.
📬 AI 뉴스를 받은편지함으로
나만의 방식으로 구성하는 일일 다이제스트 — 주제, 출처, 주기를 선택하세요. 원클릭 해지.