AMD: Alibabas ROLL-Framework läuft nativ auf Instinct-GPUs

In seinem ROCm-Blog beschrieb AMD eine Zusammenarbeit mit Alibaba, durch die das Open-Source-Reinforcement-Learning-Framework ROLL in die Lage versetzt wurde, nativ auf AMD Instinct-GPUs mit dem ROCm-Softwarestack zu laufen. Die Kernbotschaft lautet, dass das Framework “out-of-the-box” läuft, ohne Codeänderungen, Custom-Patches oder nicht-standardisierte Builds.

Was ist ROLL?

ROLL ist ein Open-Source-Framework, das Alibaba für große, verteilte Reinforcement-Learning-Workflows auf großen Sprachmodellen (LLMs) entwickelt hat. Reinforcement Learning, also bestärkendes Lernen, ist eine Methode, bei der ein Modell durch Belohnungen für erwünschte Verhaltensweisen lernt. ROLL unterstützt Algorithmen wie PPO, GRPO, DPO und RLHF, asynchrone Ausführung sowie natives agentisches Training.

Wie wurde die vLLM- und Ray-Kompatibilität gelöst?

AMD fügte Unterstützung für beide Generationen der vLLM-Engine hinzu, das Legacy-v0 und das neuere v1 mit besserem Durchsatz. vLLM ist eine Bibliothek für die schnelle Inferenz von Sprachmodellen. Für das “Sleep-Mode”-Verhalten werden vLLM-Versionen 0.11.0 und neuer vollständig unterstützt, während ältere einen speziellen ROCm-Branch erfordern. Zudem steuerte AMD Fixes für Ray (Version 2.48 und neuer) bei, die Diskrepanzen in der Sichtbarkeit der GPU-Geräte beheben, also die Kompatibilität der Variablen HIP_VISIBLE_DEVICES und CUDA_VISIBLE_DEVICES.

Was ermöglicht das?

Das Framework unterstützt Training auf einem einzelnen Knoten und verteiltes Training über mehrere Knoten, mit Beispielkonfigurationen für Modelle wie Qwen 2.5-7B und einstellbaren Parametern für die GPU-Speicherauslastung. Für Nutzer von AMD-Hardware bedeutet das, dass sie anspruchsvolles RL-Training von Sprachmodellen durchführen können, ohne von einem fremden Hardware-Ökosystem abhängig zu sein.