Zarr (데이터 형식)
Zarr은 N차원 배열을 청크 분할, 압축 형태로 저장하기 위한 오픈소스 형식으로, 클라우드 네이티브 및 병렬 I/O 워크로드를 위해 설계되었습니다. 로봇공학에서 Zarr은 대규모 로봇 시연 데이터셋(이미지, 관절 상태, 액션)을 저장하는 데 사용되며, 전체 파일을 다운로드하지 않고도 객체 저장소(S3, GCS)에서 효율적으로 읽을 수 있는 형식입니다. HDF5와 달리 Zarr은 동시 쓰기를 지원하여 분산 데이터 수집 파이프라인에 적합합니다. Zarr v3은 형식을 표준화하고 샤딩(많은 작은 청크를 더 적은 수의 큰 파일로 결합)에 대한 지원을 추가하여 클라우드 저장소 효율성을 개선했습니다. LeRobot 및 여러 자율주행 차량 데이터셋 프로젝트가 대규모 데이터셋 호스팅을 위해 Zarr을 채택했습니다. 실제 사례 보기: 우리의 데이터 수집 서비스 →







