Zarr(データ形式)
Zarrはチャンク化・圧縮形式でN次元配列を保存するオープンソース形式で、クラウドネイティブおよび並列I/Oワークロード向けに設計されています。ロボット工学では、Zarrは大規模なロボットデモンストレーションデータセット(画像、関節状態、アクション)を保存するために使用され、オブジェクトストレージ(S3、GCS)から効率的に読み込むことができます。ファイル全体をダウンロードする必要がありません。HDF5とは異なり、Zarrは並行書き込みをサポートしており、分散データ収集パイプラインに適しています。Zarr v3は形式を標準化し、シャーディング(多くの小さなチャンクを少数の大きなファイルに結合)のサポートを追加し、クラウドストレージ効率を向上させました。LeRobotおよび複数の自動運転データセットプロジェクトが大規模なデータセットホスティングにZarrを採用しています。 実践例を参照:データ収集サービス →







