Zarr (formato de dados)
Zarr é um formato de código aberto para armazenar arrays n-dimensionais em forma em blocos e comprimida, projetado para cargas de trabalho de I/O nativo em nuvem e paralelo. Em robótica, Zarr é usado para armazenar grandes conjuntos de dados de demonstração robótica (imagens, estados de junta, ações) em um formato que pode ser lido eficientemente a partir de armazenamento de objetos (S3, GCS) sem baixar arquivos inteiros. Diferentemente do HDF5, Zarr suporta escritas concorrentes, tornando-o adequado para pipelines de coleta de dados distribuídos. Zarr v3 padronizou o formato e adicionou suporte para fragmentação (combinando muitos blocos pequenos em menos arquivos grandes), o que melhora a eficiência do armazenamento em nuvem. Projetos como LeRobot e vários conjuntos de dados de veículos autônomos adotaram Zarr para hospedagem de conjuntos de dados em larga escala. Veja isso na prática: nosso serviço de coleta de dados →