返回Research
机器人数据格式:RLDS,LeRobot,HDF5
机器人数据集格式的比较:RLDS (TensorFlow),LeRobot (Hugging Face),HDF5,RoboMimic. 您的数据收集管道使用哪种格式.
为什么格式选择是重要的
数据集格式决定了您可以训练哪些模型,您可以多容易与合作者共享数据,以及您在管道中面临的工程总费用.选择错误的格式意味着后面的痛苦转换
格式比较
基于TFRecord的,用于Open X-Embodiment和RT-X. 非常适合大规模的跨体体训练. 勒罗बोट (Hugging Face):基于Parquet,容易推向 Hugging Face Hub,社区的普及不断增长. HDF5:自定义二进制格式,用于RoboMimic和许多更旧的项目. Zarr: 碎片化,云友好,获得大型数据集的吸引力.
- 交叉体体训练:RLDS
- 为了社区共享和快速
代:LeRobot - 对于传统兼容性:HDF5
- 对于云原生管道:Zarr
斯威尔士国家安全委员会数据管道
根据RCSV的数据收集基础设施,RLDS和LeRobot都会以原生方式输出.我们的数据平台自动处理格式转换,版本和质量验证.
为什么格式选择是重要的
数据集格式决定了您可以训练哪些模型,您可以多容易与合作者共享数据,以及您在管道中面临的工程总费用.选择错误的格式意味着后面的痛苦转换
格式比较
基于TFRecord的,用于Open X-Embodiment和RT-X. 非常适合大规模的跨体体训练. 勒罗बोट (Hugging Face):基于Parquet,容易推向 Hugging Face Hub,社区的普及不断增长. HDF5:自定义二进制格式,用于RoboMimic和许多更旧的项目. Zarr: 碎片化,云友好,获得大型数据集的吸引力.
- 交叉体体训练:RLDS
- 为了社区共享和快速
代:LeRobot - 对于传统兼容性:HDF5
- 对于云原生管道:Zarr
斯威尔士国家安全委员会数据管道
根据RCSV的数据收集基础设施,RLDS和LeRobot都会以原生方式输出.我们的数据平台自动处理格式转换,版本和质量验证.