vLLM: Day-0-Unterstützung für TML Inkling — Billion-Parameter-Modell bis zu 380 Token/s auf GB200

Was ist vLLM und was ist TML Inkling?

vLLM (Open-Source-Engine zur Auslieferung großer Sprachmodelle) hat Day-0-Unterstützung für TML Inkling angekündigt — das bedeutet, die Unterstützung für das neue Modell war bereits am Tag seiner Veröffentlichung verfügbar, ohne auf ein nachträgliches System-Update warten zu müssen. TML Inkling ist ein multimodales Modell mit einer Billion Parametern (10¹²), was es in die schwerste Klasse öffentlich verfügbarer Modelle einordnet. Zum Vergleich: GPT-4 wird auf etwa 1,8 Billionen Parameter geschätzt, während die meisten Open-Source-Modelle heute 7 bis 70 Milliarden aufweisen.

Wie sieht die Leistung aus?

Auf **vier NVIDIA-GB200-**GPUs erreicht vLLM mit TML Inkling bis zu 380 Token pro Sekunde pro Nutzer — für ein Modell dieser Größe außergewöhnlich. Das System nutzt MTP (Multi-Token Prediction — die gleichzeitige Vorhersage mehrerer Token statt jeweils eines), was die Text- und Bildgenerierung weiter beschleunigt. Die Implementierung unterstützt zudem Long-Context-Serving sowie verschiedene Parallelisierungsformen (Tensor, Pipeline), die eine Skalierung über mehrere GPUs ermöglichen.

Warum ist das für die KI-Infrastruktur bedeutsam?

Die Integration erfordert keine Änderungen am vLLM-Kern — TML Inkling funktioniert direkt mit dem bestehenden System. Das bedeutet, dass Organisationen, die vLLM bereits nutzen, sofort damit beginnen können, ein multimodales Billion-Parameter-Modell auszuliefern, ohne ihren Stack anpassen zu müssen. Im Vergleich zum bisherigen Zustand, bei dem Modelle dieser Größe spezielle Inference-Frameworks oder erhebliche Anpassungen erforderten, senkt dieser Fortschritt die Einstiegshürde für den produktiven Einsatz von Frontier-Modellen deutlich.

Quelle: vLLM Blog