AMD: AIMs 2.2 donosi inference-mikroservise za Instinct, EPYC i Radeon

Što su AMD Intelligence Modules i što donosi verzija 2.2?

AMD Intelligence Modules (AIMs) verzija 2.2 su standardizirani Docker inference mikroservisi — to jest, gotovi kontejnerizirani servisi za posluživanje AI modela putem API-ja — s automatskom konfiguracijom prilagođenom AMD hardveru. Umjesto ručnog podešavanja drivera, biblioteka i parametara za svaki akcelerator posebno, AIMs paket automatski detektira dostupni hardver i primjenjuje optimalne postavke. Verzija 2.2 proširuje podršku na tri klase AMD hardvera: Instinct data-centre GPU-ove, EPYC serverske procesore i Radeon profesionalne GPU-ove. U usporedbi s rješenjima koja zahtijevaju zasebne instalacijske procedure za svaki tip akceleratora, AIMs nudi jedinstven deployment obrazac.

Koji modeli rade na kojem hardveru?

AMD je za svaku platformu definirao referentne modele. Na Instinct GPU-ovima (MI300X, MI325X, MI350X i MI355X) dostupni su Gemma-4 31B i Mistral-Small 24B — zahtjevniji modeli koji iskorištavaju veliku HBM memoriju tih akceleratora. Na EPYC CPU-u (model 9965) rade Llama-3.1 8B, Qwen3 u rasponu od 4B do 35B parametara i GPT-OSS 20B, što pozicionira EPYC kao sposobnu CPU-only inference platformu bez GPU-a. Radeon profesionalni GPU-ovi (W7900 i R9700 Pro) podržavaju Llama-3.1 8B, Qwen3-VL 8B za vizualno-jezične zadatke i Gemma-3n E4B, kompaktni multimodalni model.

Kako se AIMs 2.2 raspoređuje u produkciji?

Deployment se provodi putem Helm chartova u Kubernetes okruženjima, što znači da se AIMs mikroservisi integriraju u standardne cloud-native pipeline-ove bez posebnih AMD-specifičnih operacijskih alata. AMD uz verziju 2.2 objavljuje i Document Summarization Blueprint — referentnu arhitekturu za produkcijsku upotrebu s konfiguracijom od 188 CPU jezgri i 128 GB RAM-a. Za usporedbu, slični NVIDIA Triton Inference Server deployment-i tipično zahtijevaju ručno definiranje model_repository konfiguracije i zasebne optimizacijske korake po modelu; AIMs to sažima u jednu auto-konfiguracijsku proceduru.

Zašto je ovo važno za AMD-ov položaj u AI ekosustavu?

AIMs 2.2 izravno adresira jednu od najvećih prepreka široj adopciji AMD hardvera za AI inference: složenost postavljanja ROCm okoline u usporedbi s NVIDIA CUDA ekosustavan. Standardiziranim Docker paketima AMD smanjuje trenje pri prelasku, posebno za timove koji već koriste Kubernetes i Helm u svojim MLOps procesima. Podrška za tri klase hardvera — od data-centre GPU-ova do uredskih Radeon kartica — sugerira da AMD gradi vertikalno integrirani inference stack koji pokriva i oblak i rubne slučajeve.