Zarr (formato de datos)
Zarr es un formato de código abierto para almacenar arreglos n-dimensionales en forma fragmentada y comprimida, diseñado para cargas de trabajo nativas en la nube y E/S paralela. En robótica, Zarr se utiliza para almacenar grandes conjuntos de datos de demostración robótica (imágenes, estados de articulaciones, acciones) en un formato que puede leerse eficientemente desde almacenamiento de objetos (S3, GCS) sin descargar archivos completos. A diferencia de HDF5, Zarr admite escrituras concurrentes, lo que lo hace adecuado para canalizaciones de recopilación de datos distribuidas. Zarr v3 estandarizó el formato y agregó soporte para fragmentación (combinando muchos fragmentos pequeños en menos archivos grandes), lo que mejora la eficiencia del almacenamiento en la nube. Proyectos como LeRobot y varios conjuntos de datos de vehículos autónomos han adoptado Zarr para alojamiento de conjuntos de datos a gran escala. Ver esto en la práctica: nuestro servicio de recopilación de datos →