AMD Primus Tuning Agent findet automatisch die optimale LLM-Konfiguration für MI355X-Cluster
Der AMD-ROCm-Primus-Tuning-Agent kombiniert einen deterministischen Seed-Planer und eine LLM-gesteuerte Explorationsschleife, um optimale Konfigurationen für das LLM-Training auf AMD-Instinct-GPUs automatisch zu entdecken. Auf Mixtral 8×22B erzielte er +27% gemessenen Durchsatz über AMDs Referenz in nur ~30 Minuten Suche.
Dieser Artikel wurde mithilfe von künstlicher Intelligenz aus Primärquellen erstellt.
Die manuelle Konfiguration des Trainings großer Sprachmodelle auf Multi-Node-GPU-Clustern ist eine der kostspieligsten Ingenieuraufgaben in der KI-Infrastruktur. Der kombinatorische Parameterraum – Parallelismen, Zeitpläne, Micro-Batch-Größen, MoE-Backends – erreicht Zehntausende gültiger Konfigurationen, von denen jeder vollständige Durchlauf durch den Cluster GPU-Stunden erfordert. Das AMD-ROCm-Team antwortete mit dem Primus Tuning Agent, der diesen Raum automatisch durchsucht.
Primus Tuning Agent: Automatisierung der LLM-Trainingskonfiguration
Der Agent wurde auf einem 4-Knoten-AMD-Instinct-MI355X-Cluster mit insgesamt 64 GPUs validiert, unter Verwendung des Modells Mixtral 8×22B in FP8-Präzision, mit einer globalen Batch-Größe von 512 und einer Sequenzlänge von 8.192 Token. Die Zielmetrik war der Durchsatz pro GPU – die Anzahl der pro Sekunde pro Karte generierten Token.
Der Konfigurationsraum umfasst fünf Parallelismusdimensionen (Tensor, Pipeline, Experten, Kontext und Daten), Micro-Batch-Größen von 1 bis 8, Recomputation-Granularität (none/selective/full), MoE-Backends (All-to-All gegenüber DeepEP) und verschiedene Pipeline-Zeitpläne (1F1B, Interleaved, Zero-Bubble-Varianten). Die Anzahl topologisch gültiger Punkte beträgt etwa 10 hoch vier – Brute-Force-Suche ist nicht praktikabel.
Wie durchsucht der Agent den kombinatorischen Konfigurationsraum?
Der Primus Tuning Agent verwendet einen zweiphasigen Ansatz, der Determinismus mit LLM-gesteuertem Schlussfolgern kombiniert.
In der ersten Phase geht der deterministische Seed-Planer sequenziell durch jede der Parameterachsen unabhängig – fixiert alle anderen Werte und misst die Auswirkung der Änderung eines Parameters. Dieser Einachsen-Sweep etabliert Referenzpunkte und eliminiert offensichtlich schwache Optionen ohne kostspielige Cross-Axis-Experimente.
In der zweiten Phase verwendet die LLM-gesteuerte Explorationsschleife einen DSPy-Planer mit LiteLLM-Routing, um Kombinationen zu identifizieren, die der Einachsen-Sweep nicht sah. Das LLM berücksichtigt Kompromisse zwischen Achsen – etwa wie die Wahl des MoE-Backends die Optimalität des Pipeline-Zeitplans beeinflusst – und schlägt Kandidatenkonfigurationen zum Messen vor. Der Agent unterstützt OpenAI, Anthropic und andere LLM-Anbieter ohne separate Proxy-Infrastruktur.
Ein analytischer Speicher-Vorfilter bewertet jede Kandidatenkonfiguration ohne Ausführung von GPU-Kerneln. Im Fallbeispiel verwarf der Filter 7 von 30 Testkonfigurationen bei null GPU-Kosten, indem er solche ausschloss, die analytisch den verfügbaren Speicher überschreiten. Dies ist entscheidend für die Skalierbarkeit der Suche.
Ergebnisse auf Mixtral 8×22B und MI355X-Cluster
Der Agent fand eine Konfiguration, die 4.402 Token/s pro GPU erzielt, was eine +27%-Verbesserung des gemessenen Durchsatzes gegenüber AMDs veröffentlichter BF16-Referenz von 3.475 Tok/s/GPU darstellt. Das projizierte optimale Ergebnis beträgt 4.908 Tok/s/GPU (+41,2%), mit einer dokumentierten ~10%igen optimistischen Projektionsverzerrung gegenüber gemessenen Werten – was der Agent als bekannte Eigenschaft, nicht als Anomalie verzeichnet.
Der Schlüssel zur gefundenen Verbesserung liegt in der Cross-Axis-Synergie: Die Kombination aus DeepEP-MoE-Backend, spezifischem Pipeline-Zeitplan und Recomputation-Granularität war weder im Einachsen-Scan noch in der naiven Annahme sichtbar, dass Achsen unabhängig optimiert werden. Die LLM-gesteuerte Schleife identifizierte diese Synergie durch Reasoning über Kompromisse, die der deterministische Planer strukturell nicht berücksichtigen kann.
Die gesamte Suche dauerte ~30 Minuten, dominiert durch Single-Node-Profiling-Daten, die dann auf das Full-Cluster-Szenario extrapoliert werden.
Integration und Reproduzierbarkeit
Der Agent dokumentiert jede Suchphase: welche Achsen untersucht wurden, welche Speicherfilter angewendet wurden und wie projizierte Ergebnisse mit gemessenen verglichen wurden. Jeder Lauf ist reproduzierbar und prüfbar, was für Teams wichtig ist, die Infrastrukturentscheidungen innerhalb der Organisation rechtfertigen oder das Experiment mit einem anderen LLM in der Explorationsschleife wiederholen müssen.
Das DSPy-Framework mit LiteLLM-Schicht bedeutet, dass Benutzer ihren eigenen LLM-Endpunkt für die Explorationsschleife verwenden können, wodurch die Suchkosten kontrolliert und unabhängig vom konkreten Cloud-Anbieter bleiben. Unterstützung für OpenAI, Anthropic und andere Anbieter kommt ohne separate Proxy-Infrastruktur, was den Betriebsaufwand der Agent-Einrichtung reduziert.
Für Teams, die AMD-Instinct-Workloads skalieren, bietet der Primus Tuning Agent einen reproduzierbaren Weg von der Anfangskonfiguration zur messbaren Verbesserung – ohne wochenlange manuelle Experimente auf teurer Cluster-Zeit. Der projizierte Gewinn von +41,2% und gemessene +27% bleiben konsistent mit der vom Tool selbst dokumentierten Projektionsdifferenz, was die Kapazitätsplanungsergebnisse zuverlässiger macht als Benchmark-Tabellen allein.
Häufig gestellte Fragen
- Was ist der Primus Tuning Agent und wofür wird er eingesetzt?
- Es ist ein AMD-ROCm-Tool, das den Konfigurationsraum für LLM-Training auf AMD-Instinct-GPUs automatisch erkundet und einen deterministischen Planer mit einer LLM-gesteuerten Schleife kombiniert – statt manueller Abstimmung.
- Wie lange dauert die Suche nach der optimalen Konfiguration?
- Im Fallbeispiel mit Mixtral 8×22B auf einem 4-Knoten-MI355X-Cluster fand der Agent den besten Kandidaten in etwa 30 Minuten, hauptsächlich durch Analyse von Single-Node-Profiling-Daten.
- Welcher gemessene Durchsatzgewinn wurde erzielt?
- Auf Mixtral 8×22B fand der Agent eine Konfiguration mit 4.402 Tok/s/GPU, was +27% über AMDs veröffentlichter BF16-Referenz von 3.475 Tok/s/GPU auf einem 64-GPU-MI355X-Cluster entspricht.