Zarr(数据格式)
Zarr 是一种开源格式,用于以分块、压缩的形式存储 n 维数组,专为云原生和并行 I/O 工作负载设计。在机器人学中,Zarr 用于存储大规模机器人演示数据集(图像、关节状态、动作),其格式可以从对象存储(S3、GCS)高效读取,无需下载整个文件。与 HDF5 不同,Zarr 支持并发写入,适合分布式数据收集管道。Zarr v3 标准化了格式并添加了分片支持(将许多小块合并为较少的大文件),提高了云存储效率。LeRobot 等项目和多个自动驾驶数据集已采用 Zarr 进行大规模数据集托管。 实际应用:我们的数据收集服务 →







