vLLM：对TML Inkling的Day-0支持——万亿参数模型在GB200上达380 tokens/s
vLLM为TML Inkling提供Day-0支持，这是一款拥有1万亿参数的多模态模型。在四块NVIDIA GB200 GPU上，系统通过MTP和长上下文推理实现每用户每秒最高380个tokens的吞吐量。
🤖
本文由人工智能基于一手来源生成。
什么是vLLM和TML Inkling？
vLLM（大型语言模型推理开源引擎）发布了对TML Inkling的Day-0支持——这意味着新模型在发布当天即可获得支持，无需等待系统的后续更新。TML Inkling是一款拥有1万亿参数（10¹²）的多模态模型，属于公开可用模型中最重量级的一类。作为对比，GPT-4的参数量估计约为1.8万亿，而当前大多数开源模型的参数量在70亿至700亿之间。
性能表现如何？
在四块NVIDIA GB200 GPU上，vLLM运行TML Inkling时每用户每秒可达380个tokens——对于这一规模的模型而言，这是极为出色的表现。系统采用MTP（multi-token prediction，多token预测——一次预测多个token而非逐个预测），进一步加速了文本和图像的生成。此外，该实现还支持长上下文推理以及多种并行方式（张量并行、流水线并行），可扩展至多块GPU。
这对AI基础设施开发意味着什么？
此次集成无需修改vLLM核心——TML Inkling可直接在现有系统上运行。这意味着已使用vLLM的机构可以立即开始部署这款万亿参数多模态模型，无需对现有技术栈进行额外适配。相比之前这类规模的模型需要专用推理框架或大量定制改造的情况，这一进展大幅降低了前沿模型生产部署的门槛。
来源：vLLM Blog
常见问题
- AI模型的「Day-0支持」是什么意思？
- Day-0支持意味着新模型在发布当天即可获得支持，无需等待推理引擎的后续更新。
- 什么是vLLM？
- vLLM是一款用于大型语言模型推理的开源引擎，针对生产环境中的高吞吐量和低延迟进行了优化。
📬 AI 新闻直达您的邮箱
按您的方式定制每日摘要——自选主题、来源和频率，一键退订。