热门搜索:和平精英 原神 街篮2 

您的位置:首页 > > 教程攻略 > 软件教程 >吞吐量30倍提升!NVIDIA秀Blackwell性能:打破MLPerf记录居第一

吞吐量30倍提升!NVIDIA秀Blackwell性能:打破MLPerf记录居第一

来源:互联网 更新时间:2025-04-03 12:02

4月3日消息,NVIDIA在官网表示,在最新的MLPerf V5.0基准测试中,NVIDIA的Blackwell平台取得了令人瞩目的成绩。

MLPerf是一个衡量人工智能硬件、软件和服务性能的标准化基础测试平台,它由图灵奖得主大卫·帕特森联合谷歌、斯坦福、哈佛大学等顶尖企业和学术机构成立,是权威性最大、影响力最广的国际AI性能基准测试。

最新更新的MLPerf 添加了Llama 3.1 405B,这是最大和最难以运行的开放权重模型之一。

NVIDIA表示,虽然许多公司在其硬件上运行MLPerf基准测试以衡量性能,但只有NVIDIA及其合作伙伴提交并发布了Llama 3.1 405B基准测试的结果。

具体来看,GB200 NVL72系统通过连接72个NVIDIA Blackwell GPU,作为一个单一的超大GPU运行,在Llama 3.1 405B基准测试中,与H200 NVL8相比,实现了高达30倍的吞吐量提升。

据介绍,在生产环境中,推理部署通常受到两个关键指标的延迟限制:首次响应时间(TTFT)和每个输出令牌的时间(TPOT)。

新的Llama 2 70B Interactive基准测试将TPOT缩短了5倍,TTFT降低了4.4倍,模拟了更快的用户体验。

在这一测试中,NVIDIA使用8个Blackwell GPU的DGX B200系统,性能比使用8个H200 GPU的系统高出三倍,为这一更具挑战性的Llama 2 70B基准测试设定了新的高标准。

热门手游

手机号码测吉凶
本站所有软件,都由网友上传,如有侵犯你的版权,请发邮件haolingcc@hotmail.com 联系删除。 版权所有 Copyright@2012-2013 haoling.cc