从 MLPerf Storage v2.0 看 AI 训练中的存储性能与扩展能力

原创

于 2025-09-17 16:50:18 发布 · 1.6k 阅读

8 月 5 日，全球权威 AI 工程联盟 MLCommons 发布了最新的 MLPerf® Storage v2.0 基准测试结果。本次评测吸引了众多厂商参与，包括 Cloud、Shared File、Fabric-Attached Block、Direct-Attached Block 这几大类存储厂商。

由于各厂商在硬件配置、节点规模和应用场景上的差异，直接进行横向比较存在局限性。因此，本文将聚焦于共享文件系统这一类别，分析其在相同测试标准下的表现。

JuiceFS 是支持云上以及机房部署的高性能分布式文件系统。在多个 AI 训练负载下，JuiceFS 均取得了优异的成绩，尤其在带宽利用率、可扩展性等方面均处于领先水平。接下来，本文将结合具体测试结果展开分析，并进一步介绍支撑这些表现的关键特性。

01 MLPerf Storage v2.0 及其测试负载

MLPerf 是 MLCommons 推出的通用 AI 基准评测套件，其中的 MLPerf Storage 通过多客户端模拟真实 AI 负载访问存储系统，能够复现大规模分布式训练集群场景存储负载，从而全面评估存储系统在 AI 训练任务中的实际表现。

在最新的 v2.0 版本中，MLPerf Storage 提供了三类训练负载，覆盖了深度学习训练中最具代表性的 I/O 模式。

在 3D U-Net 医疗分割负载中，系统需要处理大体积三维医学图像的顺序和并发读取。每个样本平均大小约为 146 MB，并作为独立文件存储。这类任务主要考察存储系统在大文件连续读取场景下的吞吐性能，以及在多节点同时访问时能否保持稳定的响应能力。

ResNet-50 图像分类负载则完全不同，它是小样本的高并发随机读取压力。每个样本平均大小只有 150 KB，数据通过 TFRecord 格式打包存放在大文件中。这样的数据组织方式使得训练过程中存在大量随机 I/O 和频繁的元数据访问，因此该负载对存储系统的 IOPS 提出了极高要求，是衡量小文件场景下并发性能的重要测试。

CosmoFlow 宇宙学预测负载，强调的是跨节点场景下的小文件并发访问和带宽扩展性。每个样本平均 2 MB，通常以单文件形式存储在 TFRecord 中。由于涉及海量小文件的分布式读取，系统不仅要具备足够的整体吞吐能力，还需要在元数据处理和尾延迟控制上表现稳定，否则随着节点规模的增加，延迟波动会显著放大并拖慢整体训练速度。

此外，此次 V2.0 版本中还提供了一类全新的 Checkpointing 负载，用于模拟大模型训练中的 checkpoint 落盘与恢复，主要表现为大文件多并发顺序写负载。在 JuiceFS 架构下，checkpoint 数据通过 JuiceFS 写入到对象存储中，性能瓶颈取决于作为数据持久层的对象存储带宽上限。