PyTorch Foundation:六个开源项目加速AI发展,FlexAttention速度提升12倍
PyTorch Foundation自2025年4月起成为多项目基金会,目前汇聚了六个开源项目。PyTorch 2.13带来的FlexAttention在Apple Silicon上速度提升12倍,GPU内存占用最多减少4倍,第二季度共有4415次提交。vLLM、DeepSpeed、Ray Data和Helion也均取得进展。
本文由人工智能基于一手来源生成。
PyTorch Foundation汇聚六个开源项目
PyTorch Foundation是一个成立于2025年4月的多项目基金会,如今汇聚了六个开源项目:PyTorch、vLLM、DeepSpeed、Ray、Helion以及机器学习生态系统中的其他组件。统一的治理结构使得涵盖模型训练、服务和优化的各类工具能够协调发展。
PyTorch 2.13中的FlexAttention提速多少?
新版PyTorch 2.13带来了FlexAttention,这一注意力机制如今在Apple Silicon上的运行速度比此前版本快约12倍。新功能nn.LinearCrossEntropyLoss最多可将所需GPU内存减少4倍,第二季度共记录4415次提交,远超项目此前可比时期的水平。
vLLM、DeepSpeed、Ray Data和Helion的进展
vLLM建立了稳定的两周发布周期,并宣布将于8月24日至26日在Ray Summit上举办首届自己的大会。DeepSpeed在第一季度发布了六个版本,其SuperOffload在ASPLOS 2026大会上获得最佳论文荣誉提名。Ray和vLLM在AMD MI325X GPU上通过prefill-decode解耦实现了67%的成本节省,而即将推出的Ray Data 2.57将带来全新的高性能引擎。Helion的自动调优速度提升10倍,并在NVIDIA Blackwell和Google TPU架构上取得了最先进(state-of-the-art)的成果。
常见问题
- PyTorch Foundation是什么?
- PyTorch Foundation是一个成立于2025年4月的多项目基金会,汇聚了机器学习生态系统中的六个开源项目,包括PyTorch、vLLM、DeepSpeed、Ray和Helion。
- FlexAttention是什么,速度提升了多少?
- FlexAttention是PyTorch中的一种注意力机制,在2.13版本中于Apple Silicon上运行速度提升约12倍,而新功能nn.LinearCrossEntropyLoss最多可将所需GPU内存减少4倍。
📬 AI 新闻直达您的邮箱
按您的方式定制每日摘要——自选主题、来源和频率，一键退订。