吞吐量30倍提升!NVIDIA秀Blackwell性能:打破MLPerf记录居第一

1周前 3观看

4月3日消息,NVIDIA在官网表示,在新的MLPerf V5.0基准测试中,NVIDIA的Blackwell平台取得了令人瞩目的成绩。k8V喜好网-记录每日喜好的科技时尚娱乐生活

MLPerf是一个衡量人工智能硬件、软件和服务性能的标准化基础测试平台,它由图灵奖得主大卫·帕特森联合谷歌、斯坦福、哈佛大学等顶尖企业和学术机构成立,是权威性大、影响力广的国际AI性能基准测试。k8V喜好网-记录每日喜好的科技时尚娱乐生活

新更新的MLPerf 添加了Llama 3.1 405B,这是大和难以运行的开放权重模型之一。k8V喜好网-记录每日喜好的科技时尚娱乐生活

NVIDIA表示,虽然许多公司在其硬件上运行MLPerf基准测试以衡量性能,但只有NVIDIA及其合作伙伴提交并发布了Llama 3.1 405B基准测试的结果。k8V喜好网-记录每日喜好的科技时尚娱乐生活

具体来看,GB200 NVL72系统通过连接72个NVIDIA Blackwell GPU,作为一个单一的超大GPU运行,在Llama 3.1 405B基准测试中,与H200 NVL8相比,实现了高达30倍的吞吐量提升。k8V喜好网-记录每日喜好的科技时尚娱乐生活

据介绍,在生产环境中,推理部署通常受到两个关键指标的延迟限制:首次响应时间(TTFT)和每个输出令牌的时间(TPOT)。k8V喜好网-记录每日喜好的科技时尚娱乐生活

新的Llama 2 70B Interactive基准测试将TPOT缩短了5倍,TTFT降低了4.4倍,模拟了更快的用户体验。k8V喜好网-记录每日喜好的科技时尚娱乐生活

在这一测试中,NVIDIA使用8个Blackwell GPU的DGX B200系统,性能比使用8个H200 GPU的系统高出三倍,为这一更具挑战性的Llama 2 70B基准测试设定了新的高标准。k8V喜好网-记录每日喜好的科技时尚娱乐生活

吞吐量30倍提升!NVIDIA秀Blackwell性能:打破MLPerf记录居第一k8V喜好网-记录每日喜好的科技时尚娱乐生活

本文链接:http://www.xihao.site/showinfo-1-72029.html吞吐量30倍提升!NVIDIA秀Blackwell性能:打破MLPerf记录居第一

声明:本网页内容旨在传播知识,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。邮件:2376512515@qq.com。天上从来不会掉馅饼,请大家时刻谨防诈骗