AMD: Spekulatives Decoding auf MI300X beschleunigt Inferenz um das 4,3-Fache

In seinem ROCm-Blog veröffentlichte AMD eine Implementierung des spekulativen Decodings auf Instinct-MI300X-Beschleunigern. Spekulatives Decoding ist eine Technik zur Beschleunigung der Inferenz großer Sprachmodelle, bei der ein kleineres Draft-Modell eine Folge von Tokens vorhersagt und ein größeres Zielmodell sie anschließend parallel verifiziert. Dadurch wird die langsame Token-für-Token-Generierung vermieden, ohne Verlust an Ausgabequalität.

Wie wurde das System aufgebaut?

AMD nutzte Llama-3.2-1B-Instruct als Draft-Modell und Llama-3.1-70B-Instruct als Zielmodell. Die Verteilung umfasste fünf MI300X-GPUs: vier für die Aufteilung des großen Zielmodells und eine für das Draft-Modell. Die Softwareschicht bestand aus ROCm 7.2, PyTorch 2.9.1 und FlashInfer, alles innerhalb einer Docker-Umgebung mit automatisierter Einrichtung.

Wie groß ist die Beschleunigung?

Messungen auf den Benchmarks alpaca, c4, ultrafeedback und humaneval zeigten einen klaren Gewinn. Die autoregressive Generierung lieferte 52,32 Tokens pro Sekunde, das standardmäßige spekulative Decoding 138,06 und die fortgeschrittene Variante sogar 225,86 Tokens pro Sekunde. Das bedeutet eine 4,32-mal schnellere Generierung als beim Basisansatz und eine 1,64-mal schnellere als beim herkömmlichen spekulativen Decoding.

Warum ist das wichtig?

Ein höherer Durchsatz senkt direkt die Kosten für das Bereitstellen von Modellen und die Latenz für die Nutzer. Die Demonstration zeigt, dass AMD-Hardware mit einem ausgereiften ROCm-Software-Stack Beschleunigungstechniken liefern kann, die bislang an konkurrierende Plattformen gebunden waren.