
2024 年9 月 26 日,全球最权威、影响力最广的 AI 基准测试 MLPERF 发布了 Storage V1.0 AI 基准测试结果,华为OceanStor A800全新AI存储在全球厂商中脱颖而出,总性能,每节点性能、每 U 性能均是全球第一。
2024 年9 月 26 日,全球最权威、影响力最广的 AI 基准测试 MLPERF 发布了 Storage V1.0 AI 基准测试结果,华为OceanStor A800全新AI存储在全球厂商中脱颖而出,总性能,每节点性能、每 U 性能均是全球第一。
MLPERF benchmark 是一个衡量人工智能硬件、软件和服务性能的标准化基础测试平台,它由图灵奖得主大卫•帕特森(David Patterson)联合谷歌、斯坦福、哈佛大学等顶尖企业和学术机构成立,是权威性最大、影响力最广的国际 AI 性能基准测试。为了紧跟行业前沿,MLPERF 每年发布基准测试数据,获得全球广泛认可。
本次存储性能测试共有业界主流的13家厂商参与,通过运行一个分布式训练测试程序,模拟 GPU 计算过程,最大程度还原 AI 服务器对存储系统的访问模型。以模拟 AI 存储系统能够支撑的最大 GPU 数量,来评估存储系统测试性能表现。其中 3D U-Net 工作负载每 FLOPS 算力所需存储带宽最高,且数据需要从存储节点读取,不允许提前在主机上缓存,能够真实体现存储系统性能,更全面、更准确地反映存储在大规模 AI 集群的性能表现。
特别需要注意的是,MLPerf Storage Benchmark 的目标是在满足一定加速器利用率 (Accelerator utilization) 的前提下,测试出存储系统能够支持的最大加速器(Accelerator)数量以及能够提供的最大带宽。如果希望获得比较好的结果,需要从几个方面进行努力:模拟更多的 GPU 卡数、存储系统需要提供稳定的低时延、稳定的高带宽,因此,这个榜单评测的目标是存储系统的性能,每计算节点的加速器(Accelerator)数量和带宽取决于计算节点的服务器性能,和存储没有关系。在模拟的 GPU 型号相同的情况下,总ACC数量(模拟的 GPU 数)和带宽才能反映存储的能力。
MLPERF Storage V1.0 基准测试结果-总性能华为排名第一
MLPERF Storage V1.0 基准测试结果-每节点性能华为排名第一
MLPERF Storage V1.0 基准测试结果-每 U性能华为排名第一
本次获得存储性能测试全球第一的 AI 存储——华为 OceanStor A800,通过单台设备成功满足了255张H100 GPU训练的数据吞吐需求,GPU 利用率保持90%以上,单框稳定带宽高达679 GB/s,是传统存储性能的10倍。平均每节点提供高达340GB/s带宽,每 U 提供高达85GB/s的带宽,分别是第二名2.88倍和 1.44 倍,体现了 OceanStor A800 全面领先的竞争力。同时可以通过 OceanStor A800 大规模横向扩展提供百 TB 级带宽,checkpoint 读写时间从10分钟缩短至秒级,断点续训时间小于 15 分钟,极大减少 GPU 等待,端到端算力利用率提升30%+,全面提升大模型训练效率。首次参与即在 MLPERF Storage V1.0 基准测试性能榜单登顶,这一成就不仅彰显了华为数据存储技术的卓越实力,更标志着华为数据存储在业界又达成一个关键里程碑。
华为数据存储深耕细作,持续创新,推出全新 OceanStor A 系列 AI 存储。面向 AI 场景混合负载,基于全新硬件,打造架构领先的存储系统,具备卓越性能、EB 级弹性扩展、推理长记忆等能力,全面加速 AI 大模型训推业务。
面向未来,华为 AI 存储在AI 大模型领域将持续深耕,不断突破性能极限,驾驭AI 大模型数据浪潮,引领数据未来。
来源:互联网