AMD: Ryzen AI Max+ 395, 통합 메모리로 최대 1,220억 매개변수 LLM 모델 구동
AMD ROCm 블로그가 UMA(통합 메모리 아키텍처)를 탑재한 Ryzen AI Max+ 395 프로세서에서의 LLM 추론 성능을 상세 분석한 글을 공개했습니다. 128GB LPDDR5X 메모리를 갖춘 이 시스템은 Qwen3.5 35B MoE 모델에서 GPU 전체 오프로딩으로 초당 42토큰을 달성하며, CPU와 GPU 메모리를 결합하면 최대 1,220억 매개변수 모델도 지원합니다.
이 기사는 AI가 1차 출처를 기반으로 생성했습니다.
AMD Ryzen AI Max+가 로컬 LLM 추론에서 가능하게 하는 것은?
AMD는 ROCm 블로그를 통해 Ryzen AI Max+ 395 프로세서의 LLM 추론 성능에 관한 상세 분석을 공개했습니다. Ryzen AI Max+ 395는 노트북 및 미니 PC용 AMD Ryzen AI Max 라인업 중 가장 고성능 칩입니다. 이 프로세서의 핵심 강점은 UMA(Unified Memory Architecture, 통합 메모리 아키텍처)로, CPU와 통합 GPU인 Radeon 8060S가 128GB LPDDR5X 물리 메모리 풀을 함께 공유합니다.
별도의 VRAM을 갖는 외장 GPU와 달리, Ryzen AI Max+ 프로세서는 CPU와 GPU 간의 메모리를 투명하게 공유할 수 있어 로컬 LLM 추론의 핵심 병목 중 하나를 사실상 제거합니다.
테스트한 모델들의 구체적인 벤치마크 결과는?
테스트는 Ubuntu 24.04 LTS, ROCm 7.2.1, Ollama 0.20.x 환경에서 Q4_K_M 양자화 모델을 사용하여 진행되었습니다:
| 모델 | 크기 | 생성 속도 | GPU 오프로딩 |
|---|---|---|---|
| Qwen3.5 9B | 6.2GB | 29.84 tok/s | 100% GPU |
| Qwen3.5 35B-A3B (MoE) | 20.5GB | 42.04 tok/s | 100% GPU |
| Qwen3.5 122B-A10B (MoE) | 76GB | 8.59 tok/s | 61% GPU / 39% CPU |
특히 주목할 점은 Qwen3.5 35B-A3B MoE(Mixture-of-Experts, 전문가 혼합) 모델의 결과입니다. 매개변수 수가 훨씬 많음에도 더 작은 9B 모델을 능가하는데, 이는 MoE 아키텍처가 토큰당 30억 개의 매개변수만 활성화하고 나머지는 비활성 상태로 유지하기 때문입니다.
전문 사용자에게 Ryzen AI Max+는 어떤 포지셔닝인가?
대화형 애플리케이션에는 AMD가 Qwen3.5 35B-A3B를 권장하며, 이 모델은 초당 42토큰으로 원활한 채팅 경험을 제공합니다. 최대 용량을 원한다면 Qwen3.5 122B-A10B를 사용할 수 있습니다. 이 모델은 GPU의 64GB 용량을 초과하지만, GPU와 CPU 사이에 자동으로 부하를 분산시켜 초당 8.59토큰을 달성합니다.
Ryzen AI Max+ 395는 AMD를 기존 Apple M4 Max 칩이 지배하던 고대역폭 메모리 세그먼트에 직접 경쟁자로 세웁니다. 다만 개방형 ROCm 생태계와 Ollama 및 관련 도구를 통한 리눅스 호환성에서 차별화된 이점을 갖습니다.
자주 묻는 질문
- AMD Ryzen AI Max+ 맥락에서 UMA 아키텍처란 무엇인가요?
- UMA(통합 메모리 아키텍처)는 CPU와 GPU가 128GB LPDDR5X 물리 메모리 풀을 공유하는 설계입니다. 이를 통해 기존 VRAM 용량 제한을 초과하는 LLM 모델도 구동할 수 있습니다.
- Ryzen AI Max+가 35B 모델에서 달성하는 추론 속도는 얼마인가요?
- Ryzen AI Max+ 395는 Qwen3.5 35B-A3B MoE 모델에서 GPU 전체 오프로딩 시 초당 42.04토큰의 생성 속도와 초당 154.52토큰의 프롬프트 처리 속도를 달성합니다.
- Ryzen AI Max+에서 1,220억 매개변수 모델을 실행할 수 있나요?
- 네, Qwen3.5 122B-A10B는 GPU(61%)와 CPU(39%) 사이에 자동으로 분산되어 Ryzen AI Max+에서 실행되며, 텍스트 생성 시 초당 8.59토큰을 달성합니다.
📬 AI 뉴스를 받은편지함으로
나만의 방식으로 구성하는 일일 다이제스트 — 주제, 출처, 주기를 선택하세요. 원클릭 해지.