Zarr (format de données)
Zarr est un format open-source pour stocker des tableaux n-dimensionnels sous forme fragmentée et compressée, conçu pour les charges de travail cloud-native et E/S parallèles. En robotique, Zarr est utilisé pour stocker de grands ensembles de démonstrations robotiques (images, états des articulations, actions) dans un format qui peut être lu efficacement à partir du stockage d'objets (S3, GCS) sans télécharger des fichiers entiers. Contrairement à HDF5, Zarr supporte les écritures concurrentes, ce qui le rend adapté aux pipelines de collecte de données distribuées. Zarr v3 a standardisé le format et ajouté le support du fragmentation (combinaison de nombreux petits fragments en moins de fichiers volumineux), ce qui améliore l'efficacité du stockage cloud. Des projets comme LeRobot et plusieurs ensembles de données de véhicules autonomes ont adopté Zarr pour l'hébergement de datasets à grande échelle. Voir cela en pratique : notre service de collecte de données →