Zarr (Datenformat)
Zarr ist ein Open-Source-Format zum Speichern von n-dimensionalen Arrays in segmentierter, komprimierter Form, entwickelt für Cloud-native und parallele E/A-Workloads. In der Robotik wird Zarr zum Speichern großer Roboter-Demonstrationsdatensätze (Bilder, Gelenkzustände, Aktionen) in einem Format verwendet, das effizient aus Objektspeicher (S3, GCS) gelesen werden kann, ohne ganze Dateien herunterzuladen. Im Gegensatz zu HDF5 unterstützt Zarr gleichzeitige Schreibvorgänge und eignet sich daher für verteilte Datenerfassungs-Pipelines. Zarr v3 standardisierte das Format und fügte Unterstützung für Sharding hinzu (Kombination vieler kleiner Segmente in weniger große Dateien), was die Cloud-Speicher-Effizienz verbessert. Projekte wie LeRobot und mehrere autonome Fahrzeugdatensätze haben Zarr für großflächiges Datensatz-Hosting übernommen. Siehe dies in der Praxis: unser Datenerfassungs-Service →