AMD: MiniMax-M3-Modell mit 428 Milliarden Parametern bedient schneller als NVIDIA B200 und B300 auf Instinct-MI355X-GPUs

Was ist MiniMax-M3 und wie bedient AMD es?

MiniMax-M3 ist ein großes MoE-Modell (Mixture-of-Experts) mit 428 Milliarden Parametern, von denen nur 22 Milliarden pro einzelnem Token aktiv sind, mit nativer Unterstützung für Text, Bild und Video im selben Modell. AMD hat gezeigt, wie dieses Modell auf Instinct-MI355X-GPUs mithilfe von ATOM, einer Single-Node-Engine zur Bereitstellung auf einem einzelnen Knoten, und ATOMesh, einer Schicht zur Orchestrierung der Bereitstellung über mehrere Knoten gleichzeitig, bedient wird.

Um wie viel senkt Sparse Attention den Rechenaufwand?

MiniMax Sparse Attention, eine Technik, die es dem Modell erlaubt, nur die relevanten Teile des Eingabekontexts statt aller Token gleichermaßen zu verarbeiten, senkt den benötigten Rechenaufwand pro Token bei einem Kontext von einer Million Token auf ein Zwanzigstel (1/20) der vorherigen Generation.

Ergebnisse übertreffen NVIDIA B200 und B300

Auf einem einzelnen Knoten (ATOM EAGLE3 FP4) arbeitet das System an zwei Betriebspunkten. Bei hoher Interaktivität von 340 bis 370 Token pro Sekunde pro Nutzer erreicht es rund 0,6 Tausend Token/s pro GPU, gegenüber etwa 0,2 Tausend bei NVIDIA B200. Bei hohem Durchsatz (17 bis 135 Token/s pro Nutzer) erreicht es 3.600 bis 8.500 Token/s pro GPU, während NVIDIA B200 2.500 bis 7.700 erzielt. In einer Multi-Node-Konfiguration übertrifft ATOMesh zusammen mit Mooncake sogar NVIDIA B300, AMDs direkt konkurrierendes GPU-Segment.