🟡 🔧 硬件 发布于: · 1 分钟阅读 ·

英伟达与AWS:搭载Blackwell GPU的EC2 G7实例带来4.6倍AI推理性能提升

编辑插图:AWS数据中心中带有蓝色光效的英伟达Blackwell GPU服务器机架

英伟达与AWS宣布搭载RTX PRO 4500 Blackwell GPU的EC2 G7实例,相比上一代G6提供4.6倍的AI推理性能,而cuVS库成为Amazon OpenSearch Serverless的默认选项,带来10倍更快的向量索引速度。

🤖

本文由人工智能基于一手来源生成。

EC2 G7:AI推理的新AWS标准

搭载英伟达RTX PRO 4500 Blackwell Server Edition GPU的Amazon EC2 G7实例——专为数据中心推理和图形工作负载设计的第五代架构——成为AI推理(在生产中运行训练模型的推断过程)的新AWS标准。与上一代G6实例相比,G7凭借先进的Blackwell微架构和更高的内存带宽,带来高达4.6倍的AI推理性能提升

G7实例的配置令人印象深刻:每实例最多8个GPU,总GPU显存256 GB,700 Gbps EFA(弹性织物适配器)网络用于节点间低延迟互联,以及7.6 TB NVMe SSD存储。这样的配置使大型语言模型和多模态AI应用能够在没有数据传输瓶颈的情况下运行。

为何cuVS进入OpenSearch是里程碑?

英伟达cuVS(CUDA向量搜索)——GPU加速向量索引和语义搜索库——已成为Amazon OpenSearch Serverless的默认选项。向量索引是将文本、图像或音频数据转换为可按语义相似度快速搜索的数学向量的过程,这是RAG(检索增强生成)系统和现代AI搜索引擎的基础。

通过将cuVS集成为默认设置,OpenSearch Serverless用户无需任何代码或配置更改即可自动获得10倍更快的向量索引速度,且成本仅为原来的四分之一。这对于构建拥有大型文档目录的AI应用或基于语义搜索产品的公司尤为重要。

AWS获得英伟达Exemplar Cloud认证

亚马逊网络服务荣获英伟达针对GB300训练的Exemplar Cloud状态——云合作伙伴的最高级别英伟达认证。这一称号确认AWS基础设施满足在英伟达GB300 NVL72集群上训练最苛刻AI模型的最严格要求,将AWS定位为大规模企业AI项目的首选平台。

常见问题

什么是Amazon EC2 G7实例,与G6有何不同?
EC2 G7实例搭载英伟达RTX PRO 4500 Blackwell Server Edition GPU,相比基于旧版Ampere/Ada架构的G6实例,AI推理性能提升高达4.6倍。
什么是英伟达cuVS,为何成为OpenSearch默认选项如此重要?
cuVS(CUDA向量搜索)是英伟达的GPU加速向量索引和搜索库;通过成为Amazon OpenSearch Serverless的默认选项,用户自动获得10倍更快的索引速度,同时成本降至原来的四分之一。