AMD Primus Tuning Agent automatski pronalazi optimalnu LLM konfiguraciju za MI355X klastere
AMD ROCm Primus Tuning Agent kombinira deterministički seed planer i LLM-vođenu istraživačku petlju kako bi automatski otkrio optimalne konfiguracije za treniranje LLM-ova na AMD Instinct GPU-ima. Na Mixtral 8×22B postigao je +27% mjerenog throughputa nad AMD-ovom referencom za samo ~30 minuta pretrage.
Ovaj članak generiran je uz pomoć umjetne inteligencije na temelju primarnih izvora.
Ručno konfiguriranje treniranja velikih jezičnih modela na multi-node GPU klasterima jedan je od skupljih inženjerskih zadataka u AI infrastrukturi. Kombinatorni prostor parametara — paralelizmi, rasporedi, veličine micro-batcha, MoE backendi — dostiže desetke tisuća valjanih konfiguracija, od kojih svaki puni prolaz kroz klaster zahtijeva sate GPU vremena. AMD ROCm tim odgovorio je alatom Primus Tuning Agent, koji taj prostor pretražuje automatski.
Primus Tuning Agent: automatizacija konfiguriranja LLM treniranja
Agent je validiran na 4-čvornom AMD Instinct MI355X klasteru s ukupno 64 GPU-a, koristeći model Mixtral 8×22B u FP8 preciznosti, s globalnim batch sizeom 512 i duljinom sekvence 8 192 tokena. Ciljana metrika bila je throughput po GPU-u — broj tokena generiranih u sekundi po kartici.
Prostor konfiguracija uključuje pet dimenzija paralelizma (tenzorski, pipeline, ekspertni, kontekstni i podatkovni), veličine micro-batcha od 1 do 8, granularnost rekomputacije (none/selective/full), MoE backende (All-to-All naspram DeepEP) i različite pipeline rasporede (1F1B, Interleaved, Zero-Bubble varijante). Broj topološki valjanih točaka iznosi otprilike 10 na četvrtu potenciju — pretraživanje brute-force metodom nije praktično.
Kako agent pretražuje kombinatorni prostor konfiguracija?
Primus Tuning Agent koristi dvofazni pristup koji kombinira determinizam s LLM-vođenim zaključivanjem.
U prvoj fazi, deterministički seed planer prolazi redom kroz svaku od osi parametara neovisno — fiksira sve ostale vrijednosti i mjeri učinak promjene jednog parametra. Ovaj jednoosni sweep uspostavlja referentne točke i eliminira očito slabe opcije bez skupih cross-axis eksperimenata.
U drugoj fazi, LLM-vođena istraživačka petlja koristi DSPy planer s LiteLLM routingom kako bi identificirala kombinacije koje jednoosni sweep nije vidio. LLM razmatra kompromise između osi — primjerice, kako odabir MoE backenda utječe na optimalnost pipeline rasporeda — i predlaže kandidatske konfiguracije za mjerenje. Agent podržava OpenAI, Anthropic i ostale LLM providere bez zasebne proxy infrastrukture.
Analitički memorijski pre-filter ocjenjuje svaku kandidatsku konfiguraciju bez pokretanja GPU kernela. U case studiju, filter je odbacio 7 od 30 probnih konfiguracija uz nulti GPU trošak, isključivanjem onih koje analitički premašuju dostupnu memoriju. Ovo je ključno za skalabilnost pretrage.
Rezultati na Mixtral 8×22B i MI355X klasteru
Agent je pronašao konfiguraciju koja postiže 4 402 tokena/s po GPU-u, što predstavlja +27% izmjerenog poboljšanja throughputa nad AMD-ovom objavljenom BF16 referencom od 3 475 tok/s/GPU. Projicirani optimalni rezultat iznosi 4 908 tok/s/GPU (+41,2%), uz dokumentiranu ~10% optimistički bias projekcije u odnosu na izmjerene vrijednosti — što agent bilježi kao poznatu karakteristiku, ne anomaliju.
Ključ pronađenog poboljšanja leži u cross-axis sinergiji: kombinacija DeepEP MoE backenda, specifičnog pipeline rasporeda i granularnosti rekomputacije nije bila vidljiva ni u jednoosnom skeniranju niti u naivnoj pretpostavci da se osi optimiziraju neovisno. LLM-vođena petlja identificirala je tu sinergiju rezoniranjem o kompromisima koje deterministički planer strukturno ne može razmatrati.
Cijela pretraga trajala je ~30 minuta, dominantno vođena single-node profiling podacima koji se zatim extrapoliraju na full-cluster scenarij.
Integracija i reproducibilnost
Agent dokumentira svaku fazu pretrage: koje su osi istraživane, koji su memorijski filteri primijenjeni i kako su projicirani rezultati uspoređeni s mjerenima. Svaki run je reproducibilan i revizibilan, što je važno za timove koji moraju opravdati infrastrukturne odluke unutar organizacije ili ponavljati eksperiment s drugačijim LLM-om u istraživačkoj petlji.
DSPy framework s LiteLLM slojem znači da korisnici mogu koristiti vlastite LLM endpoint za istraživačku petlju, čime troškovi pretrage ostaju kontrolirani i neovisni o konkretnom cloud provideru. Podrška za OpenAI, Anthropic i ostale providere dolazi bez zasebne proxy infrastrukture, što smanjuje operativni overhead postavljanja agenta.
Za timove koji skaliraju AMD Instinct workloade, Primus Tuning Agent nudi reproducibilan put od inicijalne konfiguracije do mjerljivog poboljšanja — bez tjedana ručnog eksperimentiranja na skupom klasterskom vremenu. Projicirani dobitak od +41,2% i izmjerenih +27% ostaju konzistentni s razlikom projekcije dokumentiranom od strane samog alata, što čini rezultate planiranja kapaciteta pouzdanijima nego što bi bili na temelju benchmark tabela.
Česta pitanja
- Što je Primus Tuning Agent i za što se koristi?
- To je AMD ROCm alat koji automatski istražuje prostor konfiguracija za treniranje LLM-ova na AMD Instinct GPU-ima, kombinirajući deterministički planer i LLM-vođenu petlju umjesto ručnog podešavanja.
- Koliko dugo traje pretraga optimalne konfiguracije?
- U case studiju s Mixtral 8×22B na 4-čvornom MI355X klasteru, agent je pronašao najboljeg kandidata za otprilike 30 minuta, uglavnom analizirajući single-node profiling podatke.
- Kakav je izmjereni dobitak throughputa?
- Na Mixtral 8×22B agent je pronašao konfiguraciju s 4.402 tok/s/GPU, što je +27% nad AMD-ovom objavljenom BF16 referencom od 3.475 tok/s/GPU na 64-GPU MI355X klasteru.