Zarr (формат данных)
Zarr — это открытый формат для хранения n-мерных массивов в фрагментированной, сжатой форме, предназначенный для облачных и параллельных рабочих нагрузок ввода-вывода. В робототехнике Zarr используется для хранения больших наборов данных демонстраций робота (изображения, состояния суставов, действия) в формате, который можно эффективно читать из облачного хранилища (S3, GCS) без загрузки целых файлов. В отличие от HDF5, Zarr поддерживает одновременные записи, что делает его подходящим для распределённых конвейеров сбора данных. Zarr v3 стандартизировал формат и добавил поддержку шардирования (объединение множества небольших фрагментов в меньшее количество больших файлов), что улучшает эффективность облачного хранилища. Проекты, такие как LeRobot и несколько наборов данных автономных транспортных средств, приняли Zarr для размещения крупномасштабных наборов данных. Смотрите это на практике: наш сервис сбора данных →