AMD: GEAK-Agent optimierte DeepSeek-V4-MLA-Kernel auf MI355 automatisch mit bis zu 9× Beschleunigung

AMD hat Ergebnisse zur Anwendung des GEAK-Agenten veröffentlicht — eines KI-Systems zur automatischen Generierung und Optimierung von GPU-Kerneln — auf das DeepSeek-V4-Modell, das auf AMD-MI355-Beschleunigern läuft. Die automatisierte Migration von PyTorch nach Triton liefert Beschleunigungen, die manuelle Optimierung in vergleichbarer Zeit kaum erreicht.

Was sind MLA und Triton — Schlüsselbegriffe?

MLA (Multi-head Latent Attention) ist eine speichereffiziente Variante des Aufmerksamkeitsmechanismus, den DeepSeek-V4 zur dramatischen Reduzierung von KV-Cache-Kosten im Vergleich zu klassischem Multi-head Attention verwendet — eine Schlüsselinnovation des Modells, aber anspruchsvoll für die Hardware-Optimierung. Triton ist eine Programmiersprache für GPU-Kernel, die direkt auf die Hardware-Eigenschaften von Beschleunigern abzielt; im Gegensatz zu generischem PyTorch kann Triton-Code die Spezifika der Speicherhierarchie der AMD-MI355-Architektur nutzen. Der GEAK-Agent automatisiert genau diesen Übergang — ohne manuelles Schreiben von Triton-Code.

Konkrete Beschleunigungen: Prefill, Decode und End-to-End

Messungen auf dem AMD MI355 zeigen klare Gewinne in allen Inferenzphasen. In der Prefill-Phase (Verarbeitung des Eingabe-Prompts) beträgt die Beschleunigung 9,13× für Konfig. 1 und 6,92× für Konfig. 2 im Vergleich zur ursprünglichen PyTorch-Implementierung. In der Decode-Phase (Token-Generierung) beträgt die geometrische Mittelbeschleunigung über 26 verschiedene Konfigurationen 4,94×. End-to-end im SGLang-Framework liefert GEAK 2,10× höheren Durchsatz und 3,71× niedrigere TTFT (Time-to-First-Token — Zeit bis zum ersten generierten Wort), ein kritischer Parameter für die Nutzererfahrung.

SGLang-Integration und Genauigkeitsverifizierung

Die Integration mit dem SGLang-Framework zeigt 16 %–110 % E2E-Verbesserung je nach Parallelitätsstufe (2 bis 32 gleichzeitige Anfragen) — höhere Parallelität bringt proportional größere Gewinne. Besonders wichtig ist das Ergebnis der Genauigkeitsverifizierung: Alle 304 Prefill- und 4.748 Decode-Testfälle bestehen ohne Regressionen. Die Beschleunigungen wurden nicht durch Approximation oder Genauigkeitseinbußen erzielt, sondern durch reine Hardware-Kernel-Optimierung. GEAK demonstriert damit, dass KI-gestützte GPU-Code-Optimierung wochenlange manuelle Ingenieurarbeit ersetzen kann.