AMD: Ryzen AI Max+ 395 führt LLM-Modelle bis 122 Milliarden Parameter mit Unified Memory aus
Der AMD ROCm-Blog veröffentlichte eine detaillierte Analyse der LLM-Inferenz auf dem Ryzen AI Max+ 395-Prozessor mit UMA-Architektur (Unified Memory Architecture). Ein System mit 128 GB LPDDR5X-Speicher erreicht 42 Tok/s beim Qwen3.5 35B MoE-Modell mit vollem GPU-Offloading und unterstützt Modelle bis 122B Parameter durch Kombination von CPU- und GPU-Speicher.
Dieser Artikel wurde mithilfe von künstlicher Intelligenz aus Primärquellen erstellt.
Was ermöglicht AMD Ryzen AI Max+ für lokale LLM-Inferenz?
AMD veröffentlichte über den ROCm-Blog eine detaillierte Analyse der LLM-Inferenzfähigkeiten des Ryzen AI Max+ 395-Prozessors — des fortschrittlichsten Chips in AMDs Ryzen AI Max-Produktlinie für Laptops und Mini-PC-Geräte. Der entscheidende Vorteil dieses Prozessors ist die UMA (Unified Memory Architecture), bei der CPU und integrierte GPU Radeon 8060S denselben physischen Speicherpool von 128 GB LPDDR5X teilen.
Im Gegensatz zu diskreten GPUs mit eigenem VRAM ermöglichen Ryzen AI Max+-Prozessoren transparente Speicherteilung zwischen CPU und GPU, was eine der wichtigsten Einschränkungen der lokalen LLM-Inferenz praktisch beseitigt.
Welche konkreten Benchmark-Ergebnisse wurden bei den getesteten Modellen erzielt?
Die Tests wurden auf Ubuntu 24.04 LTS mit ROCm 7.2.1 und Ollama 0.20.x unter Verwendung der Q4_K_M-Modellquantisierung durchgeführt:
| Modell | Größe | Generierungsgeschwindigkeit | GPU-Offloading |
|---|---|---|---|
| Qwen3.5 9B | 6,2 GB | 29,84 Tok/s | 100 % GPU |
| Qwen3.5 35B-A3B (MoE) | 20,5 GB | 42,04 Tok/s | 100 % GPU |
| Qwen3.5 122B-A10B (MoE) | 76 GB | 8,59 Tok/s | 61 % GPU / 39 % CPU |
Besonders interessant ist das Ergebnis für das Qwen3.5 35B-A3B MoE (Mixture-of-Experts)-Modell, das das kleinere 9B-Modell trotz deutlich mehr Parametern übertrifft — dies liegt daran, dass die MoE-Architektur pro Token nur 3 Milliarden Parameter aktiviert, während der Rest inaktiv bleibt.
Wie positioniert sich Ryzen AI Max+ für professionelle Nutzer?
Für interaktive Anwendungen empfiehlt AMD Qwen3.5 35B-A3B, das 42 Tok/s sicherstellt — ausreichend für ein flüssiges Chat-Erlebnis. Für maximale Kapazität steht Qwen3.5 122B-A10B zur Verfügung, das die GPU-Kapazität von 64 GB überschreitet und die Last automatisch zwischen GPU und CPU verteilt, wobei 8,59 Tok/s erreicht werden.
Der Ryzen AI Max+ 395 positioniert AMD direkt im Segment, das bisher von Apple M4 Max-Chips mit hoher Speicherbandbreite dominiert wurde — jedoch mit dem Vorteil des offenen ROCm-Ökosystems und der Linux-Kompatibilität mit Ollama und verwandten Tools.
Häufig gestellte Fragen
- Was ist die UMA-Architektur im Kontext des AMD Ryzen AI Max+?
- UMA (Unified Memory Architecture) ist ein Design, bei dem CPU und GPU denselben physischen Speicherpool von 128 GB LPDDR5X teilen, was das Ausführen von LLM-Modellen ermöglicht, die klassische VRAM-Grenzen überschreiten.
- Welche Inferenzgeschwindigkeit erreicht der Ryzen AI Max+ bei 35B-Modellen?
- Der Ryzen AI Max+ 395 erreicht 42,04 Tok/s beim Qwen3.5 35B-A3B MoE-Modell mit vollem GPU-Offloading und 154,52 Tok/s bei der Prompt-Verarbeitung.
- Kann ich ein 122-Milliarden-Parameter-Modell auf dem Ryzen AI Max+ ausführen?
- Ja, Qwen3.5 122B-A10B läuft auf dem Ryzen AI Max+ mit automatischer Verteilung zwischen GPU (61 %) und CPU (39 %) und erreicht 8,59 Tok/s bei der Textgenerierung.
📬 KI-News in dein Postfach
Ein täglicher Digest nach deinen Regeln — Themen, Quellen und Rhythmus wählbar. Abmeldung mit einem Klick.
Verwandte Nachrichten
AMD: hipVS — GPU-Vektorsuche für Instinct, cuVS-kompatibel, mit agentischem RAG-Demo
NVIDIA: Leistung pro Watt als Schlüsselmetrik — Blackwell GB300 bis zu 25× effizienter als Hopper
AMD: GEAK-Agent optimierte DeepSeek-V4-MLA-Kernel auf MI355 automatisch mit bis zu 9× Beschleunigung