AMD ROCm: Quark + FlyDSL + AITER 추론 스택을 통한 MI325X에서의 Kimi-K2.5 W4A8 및 W8A8 양자화

AMD는 2026년 5월 14일 Kimi-K2.5 모델을 위한 추론 가속 청사진을 공개했습니다. Moonshot AI의 중국 프론티어 LLM입니다. 세 가지 AMD 전용 구성 요소를 사용합니다. Quark 양자화기, FlyDSL 서빙 레이어, AITER 최적화 툴킷입니다. 이번 발표는 MI325X를 오픈소스 LLM 서빙에서 NVIDIA H100/H200의 실행 가능한 대안으로 확립하는 AMD의 광범위한 전략의 일부입니다.

W4A8과 W8A8 양자화는 무엇을 의미합니까?

양자화는 가중치와 활성화의 정밀도를 낮춰 모델의 메모리 공간을 줄입니다.

• W4A8 — 4비트 가중치, 8비트 활성화. 가장 적극적인 압축으로, 4비트 가중치 패딩이 민감한 레이어에서 품질 저하를 일으킬 수 있어 신중한 보정이 필요합니다. 최대 처리량 시나리오에 이상적입니다.
• W8A8 — 8비트 가중치, 8비트 활성화. 덜 적극적이며, 더 섬세한 워크로드에 더 많은 정밀도를 유지합니다. 정확도가 중요하지만 fp16/bf16이 메모리를 너무 많이 사용하는 시나리오에 적합합니다.

이 접근 방식을 통해 네이티브 정밀도에서 대형 GPU 클러스터가 필요한 Kimi-K2.5가 더 적은 MI325X 카드에서 실행될 수 있습니다.

AMD 추론 스택의 세 가지 구성 요소는 무엇입니까?

AMD Quark는 양자화 프레임워크입니다. 보정 단계를 통해 사전 훈련된 모델을 처리하고, 양자화 레시피를 적용하며, 다운스트림 서빙 레이어와 호환되는 양자화된 가중치를 출력합니다. FlyDSL은 도메인별 언어와 런타임으로, 추론 스케줄링에 사용됩니다. 최적의 GPU 활용을 위해 커널을 라우팅하고 시퀀싱하는 방법을 정의합니다. **AITER(AI 추론 툴킷)**는 MI325X의 AMD CDNA 아키텍처에 맞게 커널을 최적화합니다. 로컬 텐서 코어와 메모리 계층 구조를 효율적으로 활용하는 수동 튜닝된 복합 연산자입니다.

MI325X가 전략적으로 목표하는 것은 무엇입니까?

MI325X는 MI300X에 이은 AMD의 AI 추론용 두 번째 주류 GPU입니다. AMD는 명확하게 추론 워크로드를 대상으로 하며, 훈련은 대상이 아닙니다. 훈련 시장은 NVIDIA Hopper/Blackwell 스택이 지배합니다. 추론은 비용에 더 민감하고 개방형 아키텍처에 더 관대하여 AMD가 경쟁력 있는 가격 대비 성능을 통해 참여할 공간이 있습니다.

오픈소스 프론티어 LLM 환경에서의 위치

Kimi-K2.5는 Moonshot AI의 오픈 가중치 모델로, 특정 벤치마크에서 Claude Opus 4.7 및 GPT-5.5의 경쟁자로 위치합니다. AMD 접근 방식을 통해 규제 이유(예: 멀티 벤더 스택이 선호되는 EU AI 법 준수)로 비 NVIDIA 하드웨어를 선호하는 고객이 프론티어 모델에 대한 완전한 추론 경로를 갖게 됩니다.

이번 발표는 이번 주 더 광범위한 트렌드에 부합합니다. 하드웨어 벤더, 프레임워크 제공업체, 모델 랩이 비 NVIDIA 추론 경로를 위해 협력하고 있습니다. CUDA 종속성을 제거하는 PyTorch 2.12(5월 13일)의 장치 불가지론적 가속기 API와 병행하여 진행됩니다.