AMD:AIMs 2.2带来面向Instinct、EPYC和Radeon的推理微服务
AMD发布AIMs 2.2——为Instinct GPU加速器、EPYC CPU和Radeon GPU提供自动配置的标准化Docker推理微服务,支持Gemma-4 31B、Llama-3.1 8B和Qwen3等模型。
本文由人工智能基于一手来源生成。
什么是AMD智能模块,2.2版带来哪些新特性?
AMD Intelligence Modules(AIMs)2.2是标准化的Docker推理微服务——即用于通过API提供AI模型服务的即用型容器化服务——具有针对AMD硬件优化的自动配置功能。用户无需为每个加速器单独手动调整驱动程序、库和参数,AIMs包会自动检测可用硬件并应用最佳设置。2.2版将支持扩展至三类AMD硬件:Instinct数据中心GPU、EPYC服务器处理器和Radeon专业GPU。与需要针对每种加速器类型采用单独安装流程的解决方案相比,AIMs提供了统一的部署模式。
哪些模型在哪种硬件上运行?
AMD为每个平台定义了参考模型。在Instinct GPU(MI300X、MI325X、MI350X和MI355X)上,可使用Gemma-4 31B和Mistral-Small 24B——这些要求较高的模型充分利用了这些加速器的大容量HBM内存。在EPYC CPU(9965型号)上运行Llama-3.1 8B、参数量从4B到35B不等的Qwen3系列以及GPT-OSS 20B,将EPYC定位为无需GPU的纯CPU推理平台。Radeon专业GPU(W7900和R9700 Pro)支持Llama-3.1 8B、面向视觉语言任务的Qwen3-VL 8B以及紧凑型多模态模型Gemma-3n E4B。
AIMs 2.2如何在生产环境中部署?
部署通过Kubernetes环境中的Helm Chart进行,这意味着AIMs微服务可集成到标准云原生流水线中,无需特殊的AMD专用运维工具。AMD随2.2版一并发布了文档摘要蓝图——一种用于生产的参考架构,配置为188个CPU核心和128 GB RAM。相比之下,类似的NVIDIA Triton Inference Server部署通常需要手动定义model_repository配置并针对每个模型执行单独的优化步骤;AIMs将这一切压缩为单一的自动配置流程。
这对AMD在AI生态系统中的地位意味着什么?
AIMs 2.2直接解决了AMD硬件在AI推理领域获得更广泛采用的最大障碍之一:ROCm环境的搭建复杂度与NVIDIA CUDA生态系统相比。通过标准化的Docker包,AMD降低了迁移门槛,特别是对于已在MLOps流程中使用Kubernetes和Helm的团队。对三类硬件的支持——从数据中心GPU到桌面Radeon显卡——表明AMD正在构建一个垂直集成的推理栈,覆盖云端和边缘场景。
常见问题
- 什么是推理微服务?
- 推理微服务是一个现成的容器化服务,通过API提供AI模型服务,使用简单——只需启动Docker容器,模型即可立即响应请求。
- AIMs 2.2支持哪些AMD GPU?
- 支持的AMD Instinct GPU包括MI300X、MI325X、MI350X和MI355X;Radeon专业GPU包括W7900和R9700 Pro;以及EPYC CPU 9965。
- 如何部署AIMs 2.2微服务?
- 通过Kubernetes环境中的Helm Chart进行部署,同时提供文档摘要蓝图,参考配置为188个CPU核心和128 GB RAM。
📬 AI 新闻直达您的邮箱
按您的方式定制每日摘要——自选主题、来源和频率,一键退订。