HDF5 vs RLDS vs LeRobot: 로봇 데이터셋 형식 비교
로봇 데이터 세트 형식들의 완전한 비교 HDF5, RLDS, LeRobot. 언제 사용해야 하는지, 어떻게 변환해야 하는지, 그리고 RCSV가 데이터를 어떻게 전달하는지.
[← 가이드]
2026년 업데이트된 ACT, Octo, LeRobot, Open X-Embodiment에서 사용되는 세 가지 지배적인 로봇 데이터 세트 형식을 이해하고 생산하고 변환해야 하는 로봇 엔지니어들을 위한 최종 지침서.
데이터셋 형식 이 중요 한 이유
로봇 훈련 데이터 형식은 당신이 연기할 수 있는 세부 사항이 아닙니다. 첫날에 선택한 형식은 몇 달 동안 프로젝트에 영향을 미치는 세 가지 요소를 결정합니다.
1· 교육 프레임워크 호환성
각 주요 훈련 프레임워크는 특정 형식으로 데이터를 기대합니다. ACT 및 방전 정책은 HDF5를 원본으로 읽습니다. Octo 및 오픈 X-Embodiment 데이터 믹스 스크립트는 RLDS/TFRecord를 기대합니다. LeRobot 훈련 라이브러리는 LeRobot Parquet를 읽습니다. 데이터가 잘못된 형식으로있는 경우,
2. 저장 효율성 및 액세스 패턴
30fps의 3 카메라를 탑재한 500 에피소드 데이터 세트는 원료 HDF5, 압축 HDF5, 15-30 GB, 레로봇 (MP4 비디오) 에서 3-8 GB 또는 RLDS/TFRecord에서 20-40 GB를 차지한다. 클라우드 호스팅 비용, 다운로드 시간, 훈련 데이터 로딩 속도와 관련하여 저장 차이점이 중요합니다. 하지만 저장 효율은 데이터 신뢰성에 비해 떨어집니다. 레로봇의 MP4 압축은 손실이 많지만 HDF5와 RLDS는 정확한 픽셀 값을 보존합니다.
3· 공동체 및 공유
데이터 세트를 공개적으로 공유하고 싶다면, 레로봇 형식은 웹 시각화 기능이 내장된 Hugging Face Hub에 한 명령으로 업로드 할 수 있습니다. RLDS는 오픈 X-Embodiment 생태계 (50+ 데이터 세트, 22 개의 로봇 유형) 와 호환성을 제공합니다. HDF5는 최대 유연성을 제공하지만 표준화된 공유 플랫폼이 없습니다.
** 우리의 권고:** HDF5을 진실의 자료 수집 및 저장 형식으로 사용하세요. 공유를 위해 LeRobot 및 크로스 인체 훈련을 위해 RLDS로 변환하세요. 이것은 어떤 단일 형식의 잠금 장치의 단점이 없이 세 가지 생태계 중 가장 좋은 것을 제공합니다.
HDF5: 로봇 데이터 저장에 대한 금 표준
HDF5 (하이러시 데이터 포맷 5) 은 그룹 (디렉토리) 및 데이터 세트 (열) 의 파일 시스템 같은 계층에서 데이터를 저장합니다. 원래 과학 컴퓨팅을 위해 개발되었으며 유연성, 성숙한 도구 및 효율적인 무작위 액세스 덕분에 로봇 시범 데이터의 실질 표준이되었습니다.
에피소드 구조
표준 ACT/ALOHA HDF5 레이아웃은 각 에피소드를 관찰, 행동 및 메타 데이터 속성으로 최고 수준의 그룹으로 저장합니다.
/episode_0/
observations/
images/
cam_high # uint8 [T x 480 x 640 x 3] overhead camera
cam_wrist_left # uint8 [T x 480 x 640 x 3] left wrist camera
cam_wrist_right # uint8 [T x 480 x 640 x 3] right wrist camera
qpos # float32 [T x 14] joint positions (7 per arm)
qvel # float32 [T x 14] joint velocities
action # float32 [T x 14] leader arm positions (supervision signal)
attrs:
task = "pick_cube_bimanual"
operator_id = "op_03"
success = True
num_timesteps = 450
timestamp = "2026-04-10T14:32:00Z"
파이썬으로 HDF5를 읽는
h5py를 이용한 에피소드를 읽는 것은 간단하다. 에피소드의 관찰과 행동을 로드하는 완전한 예제입니다.
import h5py
import numpy as np
# Open a single episode file
with h5py.File("episode_0.hdf5", "r") as f:
# Read joint positions and actions
qpos = f["/observations/qpos"][:] # shape: [T, 14]
action = f["/action"][:] # shape: [T, 14]
# Read a specific camera frame (random access)
frame_100 = f["/observations/images/cam_high"][100] # shape: [480, 640, 3]
# Read all frames for a camera
all_frames = f["/observations/images/cam_high"][:] # shape: [T, 480, 640, 3]
# Read metadata
task = f.attrs.get("task", "unknown")
success = f.attrs.get("success", False)
print(f"Task: {task}, Success: {success}")
print(f"Episode length: {qpos.shape[0]} timesteps")
print(f"Joint positions range: [{qpos.min():.3f}, {qpos.max():.3f}]")
HDF5 최선 실습
- Chunking: 항상 시간 축을 따라 데이터 세트를 조각하십시오. 순서적 읽기 효율을 위해
_size=1을 무작위로 액세스 (실동, 시각화) 또는 _size=32을 사용하십시오. 은 단일 단일 블록으로 로드됩니다. - ** 압축:** 이미지 데이터에 대해 LZF를 사용하십시오. 카메라 프레임에 대해 비슷한 비율에서 GZIP보다 3-5배 더 빨리 사용하십시오. 공동 궤도에 대해 GZIP 레벨 4을 사용하십시오. (이보다 높은 비율, 속도가 중요하지 않습니다). 수집 시 이미지 압축을 하지 마십시오. QA 검증 후 최종 아카이브에 압축을 적용하십시오.
- ** 메타데이터 속성:** HDF5 그룹 속성으로 에피소드 메타데이터를 저장:
T10 , T11 , T12 , T13 . 파일 루트에 T14 속성을 포함하여 형식의 변경 사항을 추적하십시오. - ** 에피소드 당 한 파일 대 데이터 세트 당 한 파일:** 1,000 에피소드 이하의 데이터 세트에서, 패럴 처리 및 부분적인 재 수집에 대해 한 HDF5 파일은 더 간단합니다. 더 큰 데이터 세트에서는 파일 시스템 전반적인 비용을 줄이기 위해 파일 개개에 50-100 에피소드를 패키징하는 것을 고려하십시오.
HDF5의 장점과 단점
프로
- 성숙한 라이브러리 지원 (h5py, HDFView, Julia, C++)
- 어떤 프레임에 효율적인 무작위 접근
- 유연한 스케마
자유롭게 사용자 지정 센서 유형을 추가 - 손실 없는 저장소는 정확한 픽셀 값을 보존합니다
- ACT, ALOHA 및 전파 정책의 원산자
- HDFView GUI로 인간 검사
** 컨스**
- 내장된 버전이나 출처 추적이 없습니다
- 클라우드 스트리밍이 불가능 (전용 파일을 다운로드해야 합니다)
- 비디오 압축 없이 큰 파일 크기가
- 실험실들 사이의 계획 불합동성
- 표준화된 공유 플랫폼이 없습니다
- 동시 글은 신중한 잠금을 필요로
RLDS: 오픈 X-Embodiment 표준
RLDS (Reinforcement Learning Datasets) 는 오픈 X-Embodiment 데이터 세트에서 사용하는 형식이다. 22 개의 로봇 유형과 527K 고유의 궤도를 통해 2.2M+ 에피소드를 가진 로봇 조작 데이터의 가장 큰 컬렉션이다.
RLDS 계획
각 RLDS 데이터 세트는 기능 스키마를 지정하는 TensorFlow 데이터 세트 빌더에 의해 정의됩니다. 에피소드는 각 단계의 연속으로 나타납니다.
# Standard RLDS step structure
step = {
"observation": {
"image": tf.uint8, # shape: [H, W, C]
"state": tf.float32, # shape: [D] (joint positions + gripper)
"wrist_image": tf.uint8, # shape: [H, W, C] (optional)
},
"action": tf.float32, # shape: [D]
"reward": tf.float32, # scalar
"discount": tf.float32, # scalar (typically 1.0)
"is_terminal": tf.bool, # True on terminal state
"is_first": tf.bool, # True on first step
"is_last": tf.bool, # True on last step
"language_instruction": tf.string, # natural language task description
}
RLDS 데이터를 로딩
import tensorflow_datasets as tfds
# Load an Open X-Embodiment dataset
dataset = tfds.load("berkeley_autolab_ur5", split="train")
# Iterate over episodes
for episode in dataset.take(5):
steps = episode["steps"]
for step in steps:
image = step["observation"]["image"].numpy() # [H, W, 3]
state = step["observation"]["state"].numpy() # [D]
action = step["action"].numpy() # [D]
instruction = step["language_instruction"].numpy().decode()
print(f"Instruction: {instruction}")
print(f"State shape: {state.shape}, Action shape: {action.shape}")
break # just first step
RLDS의 장점 과 단점
프로
- 표준화된 스키마는 데이터 세트 간의 교육을 가능하게 합니다.
- tf.data 파이프라인으로 효율적인 스트리밍
- 클라우드 네이티브 (GCS/S3에서 다운로드 없이 스트리밍)
- 50개 이상의 데이터 세트, 호환형태로 사용할 수 있습니다
- 오크토, RT-2 및 OXE 데이터 믹스에 원산
- 언어 교육 필드
** 컨스**
- TensorFlow 의존성 (PyTorch 팀에 대해 무거운)
- 순서적 접근만 (효율적인 무작위 프레임이 없습니다)
- 엄격한 스케마
사용자 지정 센서는 데이터셋 빌더가 필요합니다 - 데이터셋 빌더를 작성하는 데 2~4시간이 소요됩니다
- 검사에는 TF 도구가 필요합니다.
- 디버깅을 위해 HDF5보다 직관성이 떨어집니다
레로봇: 포옹하는 얼굴 생태계
허깅 페이스에서 개발한 LeRobot은 테이블 데이터 (공동 위치, 액션, 메타데이터) 및 MP4 비디오 파일을 카메라 관측에 사용할 수 있습니다. 그것은 오픈 소스 연구 작업 흐름에 설계되었습니다.
레로봇 데이터 세트 구조
Hugging Face Hub에 있는 LeRobot 데이터 세트는 다음과 같습니다.
my_dataset/
data/
train-00000-of-00001.parquet # tabular data (all episodes)
videos/
observation.images.cam_high/
episode_000000.mp4 # overhead camera video
episode_000001.mp4
observation.images.cam_wrist/
episode_000000.mp4 # wrist camera video
episode_000001.mp4
meta/
info.json # dataset metadata, features schema
episodes.jsonl # per-episode metadata
stats.json # per-feature mean/std/min/max
파켓 파일은 시간 단계마다 1 줄이 있으며,
레로봇 데이터 로딩
from lerobot.common.datasets.lerobot_dataset import LeRobotDataset
# Load a dataset from Hugging Face Hub
dataset = LeRobotDataset("lerobot/aloha_sim_transfer_cube_human")
# Access a single frame (returns a dict of tensors)
frame = dataset[0]
print(f"State: {frame['observation.state'].shape}") # [D]
print(f"Action: {frame['action'].shape}") # [D]
print(f"Image: {frame['observation.images.cam_high'].shape}") # [C, H, W]
# Get episode-level info
print(f"Number of episodes: {dataset.num_episodes}")
print(f"Number of frames: {dataset.num_frames}")
print(f"FPS: {dataset.fps}")
레로봇의 장점 과 단점
프로
- 한 명령으로 Hugging Face Hub에 업로드
- hf.co/datasets/에서 내장된 웹 시각화
- 컴팩트 저장 (MP4 비디오는 원료보다 5-10배 작습니다)
- 300개 이상의 공공 데이터 세트 및 빠른 성장
- 토착 ACT 및 전파 정책 교육 지원
- 자동으로 계산된 통계 (평균/학년)
** 컨스**
- MP4 압축은 손실이
진실의 출처 품질이 아닙니다 - 비디오 디코딩은 훈련 중에 지연을 증가시킵니다
- 변수 길이의 에피소드에는 이상적이지 않은 파켓
- 스케마 변경은 전체 데이터 세트를 재구성해야 합니다.
- 변화하는 도구로 새로운 형식
- 비디오를 디코딩하지 않고 무작위 프레임 액세스 할 수 없습니다
형식 비교 테이블
| Feature | HDF5 | RLDS / TFRecord | LeRobot / Parquet |
|---|---|---|---|
| Native frameworks | ACT, Diffusion Policy, custom | Octo, RT-2, OXE data mix | LeRobot, ACT (via lib), DP (via lib) |
| Storage size (500 eps, 3 cams) | 15-30 GB (compressed) | 20-40 GB | 3-8 GB (MP4) |
| Image fidelity | Lossless (raw uint8) | Lossless (raw uint8) | Lossy (MP4 H.264/H.265) |
| Random frame access | Efficient (chunked) | Inefficient (sequential) | Requires video decode |
| Cloud streaming | No (download required) | Yes (tf.data from GCS/S3) | Yes (HF Hub streaming) |
| Schema flexibility | High (any structure) | Low (fixed DatasetBuilder) | Medium (Parquet columns) |
| Sharing platform | None (manual hosting) | TFDS catalog | Hugging Face Hub |
| Community datasets | Many (no central catalog) | 50+ (Open X-Embodiment) | 300+ (Hugging Face Hub) |
| Python tooling | h5py (mature, lightweight) | tensorflow-datasets (heavy) | lerobot, datasets (growing) |
| Recommended for | Primary storage, ACT/DP training | Cross-embodiment, Octo training | Sharing, community, quick start |
형식 간 변환
결국에는 여러 형식으로 데이터를 필요로 합니다. 여기 변환에 대한 실용적인 가이드와 각 경로에 대한 도구와 추정된 노력이 있습니다.
HDF5 - 레로봇
레로봇 라이브러리는 ALOHA 스타일의 HDF5 데이터 세트의 네이티브 변환을 제공합니다.
# Convert ALOHA HDF5 to LeRobot format and push to Hub
python -m lerobot.scripts.push_dataset_to_hub \
--raw-dir /path/to/hdf5/episodes \
--raw-format aloha_hdf5 \
--repo-id your-org/dataset-name \
--push-to-hub 1
사용자 지정 HDF5 스키마 (ALOHA가 아닌) 에 대해, 당신은 작은 어댑터 기능을 작성해야 합니다. 이 작업은 일반적으로 30-60 분 동안 소요됩니다.
HDF5에서 RLDS
RLDS로 변환하려면 사용자 지정 TensorFlow DatasetBuilder를 작성해야 합니다. 이것은 가장 노동력이 많은 변환 (새로운 스케마에서 2-4 시간)이지만 데이터셋 형식당 한 번의 비용입니다.
# Skeleton RLDS DatasetBuilder (simplified)
import tensorflow_datasets as tfds
class MyRobotDataset(tfds.core.GeneratorBasedBuilder):
VERSION = tfds.core.Version("1.0.0")
def _info(self):
return tfds.core.DatasetInfo(
builder=self,
features=tfds.features.FeaturesDict({
"steps": tfds.features.Dataset({
"observation": tfds.features.FeaturesDict({
"image": tfds.features.Image(shape=(480, 640, 3)),
"state": tfds.features.Tensor(shape=(14,), dtype=tf.float32),
}),
"action": tfds.features.Tensor(shape=(14,), dtype=tf.float32),
"is_terminal": tf.bool,
"is_first": tf.bool,
"is_last": tf.bool,
"language_instruction": tfds.features.Text(),
}),
}),
)
def _generate_examples(self, path):
# Read from your HDF5 files and yield episodes
for episode_path in sorted(path.glob("*.hdf5")):
with h5py.File(episode_path, "r") as f:
# Map HDF5 fields to RLDS schema
yield episode_id, {"steps": steps_list}
RLDS에서 LeRobot
레로봇은 모든 오픈 X-Embodiment 데이터 세트를 포함한 RLDS 데이터 세트의 내장 변환기를 제공합니다.
# Convert any RLDS dataset to LeRobot format
python -m lerobot.scripts.push_dataset_to_hub \
--raw-dir /path/to/rlds/dataset \
--raw-format rlds \
--repo-id your-org/converted-dataset \
--push-to-hub 1
레로봇에서 HDF5
이 방향에 대한 공식적인 도구는 없지만, 간단하게 (30~60분) 작성할 수 있습니다.
from lerobot.common.datasets.lerobot_dataset import LeRobotDataset
import h5py
import numpy as np
dataset = LeRobotDataset("your-org/dataset-name")
for ep_idx in range(dataset.num_episodes):
ep_frames = [dataset[i] for i in range(len(dataset))
if dataset[i]["episode_index"] == ep_idx]
with h5py.File(f"episode_{ep_idx:05d}.hdf5", "w") as f:
qpos = np.stack([fr["observation.state"].numpy() for fr in ep_frames])
action = np.stack([fr["action"].numpy() for fr in ep_frames])
f.create_dataset("observations/qpos", data=qpos, chunks=(1, qpos.shape[1]))
f.create_dataset("action", data=action, chunks=(1, action.shape[1]))
# Decode and store video frames as image arrays
# ... (video decode step adds complexity)
** 중요한 경고:** 레로봇에서 HDF5로 변환하면 원래 픽셀 수준의 충실성을 복구할 수 없습니다. 왜냐하면 레로봇은 이미지를 MP4 비디오로 저장하기 때문입니다. 변환된 HDF5는 원래 원본이 아닌 디코드 된 MP4 프레임을 포함합니다.
전환 요약 표
| From → To | Tool | Effort | Notes |
|---|---|---|---|
| HDF5 → LeRobot | lerobot.scripts.push_dataset_to_hub | 30 min | Native ALOHA support; custom schemas need adapter |
| HDF5 → RLDS | Custom DatasetBuilder | 2-4 hours | One-time per schema; requires TF knowledge |
| RLDS → LeRobot | lerobot.scripts.push_dataset_to_hub --raw-format rlds | 15 min | Works for all OXE datasets |
| LeRobot → HDF5 | Custom script | 30-60 min | Lossy: MP4 frames, not original raw images |
| Any → Any | RCSV Platform | 5 min | Upload once, export to any format via UI |
RCSV가 어떻게 데이터를 전달 하는지
[데이터 수집 캠페인] (T21
수집 형식
우리는 항상 HDF5에서 진실을 수집합니다. 원시 센서 데이터는 프레임 시간표, 전체 메타데이터 및 효율적인 액세스을위한 조각 데이터 세트로 손실없이 저장됩니다. 이 마스터 복사본은 프로젝트 기간 동안 유지됩니다.
배달 형식
프로젝트 브리프에서 목표 형식을 지정합니다. 우리는 지원합니다:
- HDF5: 진실의 소스 파일의 직접 제공. 스키마 문서와 로딩을 위한 파이썬 예제 스크립트를 포함합니다.
- RLDS / TFRecord: 귀하의 스케마에 맞춘 사용자 지정 데이터셋 빌더로 변환되었습니다. 데이터셋 빌더 소스 코드를 포함하여 직접 변환을 다시 실행할 수 있습니다.
- LeRobot / Parquet: 조직 아래의 개인 Hugging Face Hub 저장소에 밀어넣습니다. 전체 메타데이터, 통계 및 시각화와 함께 데이터 세트 카드를 포함합니다.
- ** 사용자 지정 형식:** ROS bag, CSV, JSON 라인 또는 독자적인 스키마. 우리는 수출 어댑터를 작성하고 배달에 포함합니다.
포함 된 것
모든 데이터 세트 전달에는 다음과 같은 것들이 포함됩니다.
- 요청된 형식에서 데이터셋 파일
- 메타데이터, 품질 점수 및 통계를 포함하는 모든 에피소드를 나열하는 데이터 매니스트 (JSON)
- 각 필드, 데이터 타입 및 단위를 설명하는 스케마 문서
- 한 에피소드를 로드하고 모양과 범위를 인쇄하는 파이썬 예제 스크립트
- 훈련 중 정상화 위한 성능 통계 (평균, STD, min, max)
- 전체 데이터 세트에 대한 품질 측정치를 요약하는 QA 보고서
RCSV 플랫폼 수출
[RCSV Fearless Platform] (
자주 묻는 질문
제가 처음 시작한다면 어떤 형식을 사용해야 할까요?
HDF5를 시작하세요. 가장 간단한 도구 (h5py만), 가장 유연한 스키마를 가지고 있으며, 가장 인기있는 훈련 프레임워크 (ACT, 방급 정책) 에 원산적입니다. 당신은 항상 나중에 LeRobot 또는 RLDS로 변환 할 수 있습니다. 당신이 Hugging Face Hub에 즉시 데이터 세트를 공유하고 싶다면, 시작부터 LeRobot을 사용하지만 원료 HDF5를 백업으로 유지하십시오.
레로봇의 MP4 압축이 훈련에 문제가 되나요?
대부분의 조작 작업에서는, 아니. 합리적인 품질 설정 (CRF 20-23) 에서 H.264 압축의 시각 유물은 일반적인 카메라 센서의 소음 수준보다 낮습니다. 그러나, 픽셀 수준 정확도가 중요하기 있는 작업에서는
훈련에 필요한 다양한 형식의 데이터 세트를 혼합할 수 있나요?
예, 하지만 먼저 일반적인 형식으로 정상화해야 합니다. 가장 실용적인 방법은 훈련 전에 모든 것을 하나의 형식으로 변환하는 것입니다. 만약 당신이 Octo와 훈련하거나, 크로스 인보디먼트 실험을 한다면, 모든 것을 RLDS로 변환하세요. 만약 당신이 LeRobot 라이브러리로 훈련하고 있다면, 모든 것을 LeRobot 형식으로 변환하세요. RCSV 플랫폼은 혼합 형식의 업로드를 통일된 데이터 세트에 정상화하고 수출할 수 있습니다.
어떻게 로봇 데이터 세트를 버전으로 제어할 수 있을까요?
허깅 페이스 허브에 있는 레로봇 데이터 세트에서는 git-lfs를 통해 버전화가 구축되어 있습니다. HDF5에서는 HDF5 파일과 함께 스케마_버전, 생성 날짜, 에피소드 목록 및 통계를 기록하는 데이터 매니페스트 파일 (JSON) 를 사용하십시오. 센서 구성 변경 시 스케마 버전을 붐하십시오. 생산 작업 흐름에 대해서는 RCSV 플랫폼은 전용 데이터 세트 버전화를 롤백으로 제공합니다.
ROS 가방 형식?
ROS bag (ROSbag2에서 ROS2) 는 수집 중에 모든 ROS 주제를 시간표로 네이티브로 캡처하기 때문에 데이터 녹화에 탁월하다. 그러나, 그것은 읽기 위해 ROS2 라이브러리를 필요로 하기 때문에 훈련 형식으로 잘 적합하지 않습니다. 무작위 액세스, 그리고 반복보다 ML 훈련에 최적화된 형식으로 데이터를 저장합니다. 표준 작업 흐름은: 수집 중에 ROS 가방에 기록하고, 훈련 및 공유를 위해 HDF5 (또는 LeRobot/RLDS) 로 변환합니다. 이 변환 단계는 또한 데이터 청소 및 검증 검사 지점으로 사용됩니다.
RCSV가 데이터 세트 형식을 처리하도록 하십시오
로봇 데이터를 RCSV 플랫폼에 상영, QA 검토, 한 번의 클릭으로 HDF5, LeRobot Parquet 또는 RLDS 형식으로 수출하기 위해 업로드하십시오. 또는 데이터를 수집하여 훈련 파이프라인이 필요로 하는 정확한 형식으로 제공하도록 허용하십시오.