AMD: ATOM-Optimizer — DP Attention und Two-Batch Overlap für DeepSeek-V4 auf MI355X

Was ist ATOM und warum entwickelt AMD eine eigene Inferenz-Engine?

ATOM ist AMDs Open-Source-Inferenz-Engine — eine Softwareschicht, die optimiert, wie der MI355X-GPU große Sprachmodelle ausführt. Im Gegensatz zu Ansätzen, die spezialisierte All2All-Netzwerkhardware erfordern, zeigt ATOM, dass standardmäßige kollektive Primitive auf Standard-Interconnects vergleichbare Leistung erzielen können.

Zwei Schlüsseloptimierungen für DeepSeek-V4

PrefillDelayer koordiniert den Eintritt der Data-Parallel-Ranks in die Prefill-Phase — er eliminiert den sogenannten Dummy-Prefill-Verlust, der entsteht, wenn Ranks ohne nützliche Arbeit aufeinander warten. Die zweite Optimierung, Two-Batch Overlap, führt Token-Balancing auf Einzeltoken-Ebene ein und überlappt AllGather- und ReduceScatter-Netzwerkoperationen (AG/RS-Overlap), wodurch die Gesamtwartezeit auf Netzwerkübertragungen reduziert wird.

Ergebnisse im SemiAnalysis InferenceX Benchmark

Die Messungen wurden mit dem SemiAnalysis InferenceX Benchmark bei einem Workload von 8K Eingabe- und 1K Ausgabe-Tokens durchgeführt. AMD betont, dass ATOM auf dem MI355X mit spezialisierten All2All-Ansätzen konkurriert, die sonst teures Custom-Interconnect-Hardware erfordern — ein bedeutendes Ergebnis für Standardinfrastruktur. Der Code ist als Open Source öffentlich verfügbar und für alle zugänglich, die mit DeepSeek-V4 auf AMD-Hardware experimentieren.