레로봇: 오픈소스 로봇 학습 도서관 <unk> 완전 안내서
Hugging Face LeRobot에 관한 모든 것: 그것이 무엇인지, ACT/Diffusion Policy/TDMPC 알고리즘, 지원된 하드웨어, 데이터셋 형식, 스피드스타트 튜토리얼, 그리고 RCSV 수출 호환성.
[로봇 데이터 수집 안내서]
레로봇은 로봇 학습을 위한 Hugging Face의 오픈소스 라이브러리입니다. 데이터 수집, 데이터 세트 저장, 정책 훈련 및 가장 널리 사용되는 연구 플랫폼의 하드웨어 인터페이스를 포함하는 통합 프레임워크입니다. 2025 년과 2026 년의 새로운 로봇 학습 프로젝트의 기본 출발점이되었습니다.
레로봇은 무엇 입니까?
레로봇은 허깅 페이스가 관리하는 파이썬 라이브러리이며 로봇 학습 연구에 종착순 인프라를 제공합니다. 그것은 네 가지 다른 문제를 다루고 있습니다: 실제 하드웨어에서 로봇 시범을 기록하고, 표준화된 데이터 세트 형식으로 그 시범을 저장하고 버전을 만드는, 이러한 데이터 세트에 대한 최첨단 모방 학습 및 강화 학습 정책을 훈련하는, 그리고 평가하기 위해 실제 하드웨어에 훈련된 정책을 배포하는. 이 기능들 중 각각의 기능은 모듈형입니다. 레로봇을 데이터 저장용이나 풀 스테이크 훈련 및 배포용으로만 사용할 수 있습니다.
이 프로젝트는 Huggingface 조직의 하에 GitHub에 살고 있으며 2026 년 초에 수십만 개의 별과 수백 명의 기여자를 축적했습니다. 데이터 세트를 Hugging Face Hub에 게시하고 다운로드 할 수 있으며, 레로봇이 커뮤니티 데이터 시장으로 기능하는 성장하는 공유 데이터 세트 저장소를 제공합니다.
레로봇이 특히 가치 있는 것은 모든 로봇 학습 프로젝트에서 복제하는 "관광" 작업을 제거한다는 것입니다. 카메라 드라이버를 작성하고, 데이터 녹음을 구현하고, 데이터 세트 로더를 구축하고, 훈련 루프를 설정하고, 하드웨어로 연결하는 정책입니다. 레로봇 이전에는 각 실험실이 이 인프라의 고유한 버전을 구축했는데, 이는 일반적으로 부서지고 문서가 없거나 다른 실험실이 재생산할 수 없게 되어 있었습니다. 레로봇은 전체 스택을 표준화했습니다.
레로봇 생태계
레로봇은 도구, 데이터 세트 및 하드웨어 플랫폼의 성장하는 생태계의 중심에 위치하고 있습니다.
| Component | Role | Status |
|---|---|---|
| LeRobot Python library | Core framework for recording, training, evaluation | Stable (v0.5+) |
| Hugging Face Hub | Dataset hosting, versioning, community sharing | Production |
| Hardware drivers | ALOHA, Koch, SO-100/101, OpenArm, Lekiwi | Growing (community contributed) |
| Policy implementations | ACT, Diffusion Policy, TDMPC2 | Stable |
| Simulation environments | Aloha sim, PushT, xArm sim | Stable (for testing/dev) |
| Weights & Biases integration | Experiment tracking, loss curves, video logging | Built-in |
지원된 알고리즘
르로봇은 로봇 학습 연구에서 가장 널리 사용되는 접근법을 다루는 세 가지 정책 클래스의 네이티브 구현을 제공합니다.
ACT (전환기 사용으로 액션 킹)
ACT는 미세한 곡물 조작 작업의 주요 알고리즘입니다. 그것은 시간적 집합을 가진 트랜스포머 기반의 CVAE (상 조건 변동자동화 코더) 아키텍처를 사용합니다. 핵심 혁신은 "행동 덩어리"입니다.
가장 능숙한 조작 작업 흐름에 대한 권장 출발점: 전형적인 구성: 200-500 개의 시범, 100 개 정도의 조각 크기가, A100에서 4-8 시간 훈련. 예상 성공률: 표준 테이블 작업에서 80-92%
전파 정책
CNN 기반의 변종과 변조기 기반의 변종을 구현하여 행동 예측을 위해 전파를 단호합니다. 방산 정책은 멀티모달 행동 분포와 함께 작업에 여러 가지 유효한 접근 방법이있는 상황에서 우수합니다. (예를 들어, 양쪽에서 객체를 끌어내는 것). 방산 과정은 자연스럽게 모드 붕괴 없이 이러한 멀티모달성을 나타냅니다.
일반적으로 강력한 성능을 위해 500-1,000 개의 시범이 필요합니다. A100에서 훈련은 8-12 시간 소요됩니다. 인퍼런스는 ACT보다 느리습니다 (다중 디노이징 단계가 필요합니다), 디노이징 단계의 수에 따라 행동 조각에 따라 전형적인 지연시간은 50-100ms (전립: 10-15).
TDMPC2
TDMPC2 (Temporal Difference 모델 예측 제어) 는 모델 기반 RL 알고리즘으로 시뮬레이션 환경이 사용할 때 샘플 효율적인 교육을 제공하여 세계 모델과 정책을 모두 학습합니다. ACT 및 퍼포션 정책과 달리, TDMPC2는 인간 시범이 필요하지 않습니다. 환경 상호 작용만으로 학습합니다.
시뮬레이션이 가능하지만 시뮬레이션이 수집하기 어려운 작업에 가장 적합합니다. 세계 모델은 일부 설정에서 순수한 모방 학습보다 새로운 구성에 일반화 할 수있는 계획 기반의 행동을 가능하게합니다.
각각의 알고리즘은 PyTorch에서 표준 훈련 스크립트, 하이드라 구성 관리 및 실험 추적을 위한 웨이트스 & 바이아스 통합으로 구현된다. 알고리즘들 사이의 전환은 단일 구성 파일 변경으로 비교 평가를 쉽게 한다.
지원된 하드웨어
상자 밖의 하드웨어 통합은 다음과 같습니다.
| Platform | Type | DOF | Price Range | RCSV Available |
|---|---|---|---|---|
| ALOHA (ViperX) | Bimanual | 14 (2x7) | $15,000-20,000 | Yes (lab + lease) |
| Koch Arms | Single-arm | 6 | $1,500-3,000 | No |
| SO-100 / SO-101 | Single-arm | 5-6 | $300-800 | No |
| OpenArm 1 | Single-arm | 6 | $4,500 | Yes (store + lease) |
| Lekiwi | Mobile + arm | 6+3 | $2,000-4,000 | No |
RCSV의 [스토어] (RCSV)
카메라 지원은 USB 카메라를 OpenCV, Intel RealSense 깊이 카메라 및 웹캠 배열을 통해 커버합니다. 녹음 시스템은 소프트웨어 타임스테이밍과 멀티 카메라 동기화를 처리하고 카메라 당 구성 가능한 프레임 속도 및 해상도를 지원합니다.
레로봇 데이터셋 형식
레로봇은 HDF5 파일로 표준화된 에피소드 구조를 가지고 데이터 세트를 저장합니다. 각 에피소드는 관측에 대한 배열을 포함합니다. (비디오 스트림으로 압축된 이미지, float32 배열으로 합동 상태), 액션 (공동 위치 목표), 타임스테임 (시간표), 해설 (사업 언어 문자열, 성공 플래그) 을 포함합니다. 메타 데이터 파일은 로봇 구성, 카메라 캘리브레이션 및 데이터 세트 통계를 설명합니다. 이 형식은 자기 설명이 가능하고 휴대할 수 있도록 설계되었습니다. 한 기계에 기록된 데이터 세트를 다른 기계에 훈련하기 위해 수정 없이 로드 할 수 있습니다.
데이터 세트의 구조는 다음과 같습니다.
dataset/
meta/
info.json # Robot config, camera params, stats
episodes.jsonl # Episode-level metadata
data/
chunk-000/
episode_000000.parquet # State + action data
videos/
chunk-000/
observation.images.top/
episode_000000.mp4 # Compressed camera streams
observation.images.wrist/
episode_000000.mp4
Hugging Face Hub에 게시된 데이터 세트는 통계, 작업 설명 및 사용 예제를 포함하는 데이터 세트 카드입니다. 이것은 커뮤니티에서 데이터 세트를 발견하고 재사용하는 것을 쉽게 만들고 일반적인 작업에 대한 데이터 수집 부담을 줄입니다.
시작: 완전 한 설명
여기 설치부터 훈련된 정책까지의 전체 작업 흐름이 있습니다. 하드웨어가 있거나 시뮬레이션을 사용하는 것을 가정합니다.
단계 1: 설치
레로봇은 파이썬 3.10+와 파이토르치 2.0+를 필요로 합니다. 최신 기능들을 위해 소스에서 설치하세요.
# Clone and install
git clone https://github.com/huggingface/lerobot.git
cd lerobot
pip install -e ".[all]"
# Verify installation
python -c "import lerobot; print(lerobot.__version__)"
전체 설치 시간은: CUDA가 이미 구성된 기계에서 5-10 분. CUDA가 없으면 먼저 PyTorch를 CPU로 설치하고, 훈련 데이터를 사용할 때 GPU로 이동하십시오.
2 단계: 시연을 기록 (실제 하드웨어)
OpenArm 또는 다른 지원된 하드웨어가 있는 경우:
# Start recording with teleoperation
python lerobot/scripts/control_robot.py record \
--robot-path lerobot/configs/robot/openarm.yaml \
--fps 30 \
--root data/my_dataset \
--repo-id my-hf-user/my-task-dataset \
--num-episodes 50 \
--warmup-time-s 2 \
--episode-time-s 30 \
--reset-time-s 10
녹음 스크립트는 카메라 동기화, 공동 상태 로그링 및 에피소드 세그먼트를 처리합니다. 에피소드 사이에, 다음 녹화가 자동으로 시작되기 전에 작업 공간을 다시 설정하려면
3단계: 데이터를 시각화 하고 검증
# Visualize recorded episodes
python lerobot/scripts/visualize_dataset.py \
--root data/my_dataset \
--episode-index 0
더 많은 것을 수집하기 전에 항상 첫 5~10개의 에피소드를 검토하십시오. 카메라의 올바른 각, 부드러운 관절 운동 추적, 적절한 에피소드 시작/말 단축 및 일관된 작업 공간 설정을 확인하십시오. 초기 문제를 파악하면 시간 동안 재 수집이됩니다.
4단계: 정책 을 훈련 시키십시오
# Train ACT policy on your dataset
python lerobot/scripts/train.py \
policy=act \
dataset_repo_id=my-hf-user/my-task-dataset \
training.num_epochs=2000 \
training.batch_size=8 \
wandb.enable=true
훈련 시간은 데이터 세트 크기와 GPU에 달려 있습니다. RTX 4090에서 50 에피소드: ACT에 약 2 시간, 방전 정책에 4 시간. A100에서: 그 시간 중 약 60%를 사용합니다. 웨이트스 & 바이아스 대시보드를 통해 훈련을 모니터링합니다.
5단계: 실제 하드웨어 를 평가
# Deploy trained policy
python lerobot/scripts/control_robot.py record \
--robot-path lerobot/configs/robot/openarm.yaml \
--fps 30 \
--root data/eval_dataset \
--repo-id my-hf-user/my-task-eval \
--num-episodes 20 \
--policy-overrides policy.path=outputs/train/act/checkpoints/last/pretrained_model
다양한 객체 위치에서 최소 20개의 평가 에피소드를 실행하여 신뢰할 수 있는 성공률 추정치를 얻습니다. 나중에 분석하기 위해 평가 에피소드를 기록합니다.
RCSV 하드웨어가 LeRobot과 어떻게 통합되는지
RCSV의 하드웨어 생태계는 네이티브 레로봇 호환성을 위해 설계되었습니다.
OpenArm 1: LeRobot 로봇 구성 YAML 파일을 가지고 배. 제어판에 플러그, LeRobot 제어 스크립트를 실행하고 몇 분 이내에 시범을 녹음합니다. 리더-따라자 텔레오퍼레이션 시스템은 레로봇의 녹음 인터페이스에 직접 지도합니다. 전체 하드웨어 설정을 보려면 [OpenArm 설정 안내서]
DK1 Bimanual: LeRobot에서 ALOHA 호환형 쌍방향 시스템으로 구성되어 있습니다. 두 팔은 단일 로봇 구성을 통해 액세스 할 수 있습니다. DK1에 기록된 쌍방향 시범은 ACT 쌍방향 정책 구현과 호환됩니다.
RCSV 플랫폼 통합: RCSV 플랫폼을 통해 수집된 데이터 세트는 한 번의 클릭으로 레로봇 형식으로 직접 수출할 수 있습니다. 수출에는 필요한 모든 메타데이터가 포함됩니다. 카메라 내재, 로봇 URDF, 에피소드 해설 및 성공 레이블. 수동 형식의 변환이 필요하지 않습니다.
지역사회 데이터베이스 허브
레로봇의 가장 강력한 기능 중 하나는 데이터 세트 공유를 위한 Hugging Face Hub 통합입니다. 2026년 초부터, 허브는 커뮤니티에서 수백 개의 로봇 학습 데이터 세트를 호스팅하고 있으며, 다음과 같은 내용을 포함합니다.
- 다양한 팔판과 객체 집합을 가진 픽앤플레이스
- ALOHA 양동차 작업 (음식, 접착, 조립)
- SO-100 지역사회 도전과 기준
- 레키위 및 사용자 지정 플랫폼을 이용한 모바일 조작
- PushT 및 다른 벤치마크 작업에 대한 시뮬레이션 데이터 세트
흔히 발생하는 함정 과 문제 해결
- ** 카메라 프레임 드롭:** USB 대역폭 제한. 3 개 이상의 USB 카메라를 하나의 USB 컨트롤러를 통해 실행하면 프레임 드롭을 얻을 수 있습니다. 해결책: 독립적인 컨트롤러와 함께 PCIe USB 카드를 사용하거나 카메라 해상도/프레임레이트를 줄입니다.
- Servo 통신 타임아웃: 다이내믹셀 시리얼 버스는 고속 교통 상태에서 시간아웃을 할 수 있습니다.
- ** 훈련 격차:** 초기 감소 이후 손실이 증가하면 학습률을 2-5x로 줄이십시오. ACT는 학습률에 민감합니다.
- ** 배포 중 정책 불안:** ACT 구성에서 시간 집합 창 크기를 증가하십시오. 기본값은 느리고 의도적인 작업에 너무 작습니다. 그것을 두 배로 늘려보십시오.
- ** 에피소드 타임 스탬프 오차 라인링:** 레로봇은 소프트웨어 타임 스탬프를 사용합니다. <10ms 동기화를 필요로 하는 고정밀 작업에 대해, 카메라에 하드웨어 트리거를 고려하고 하드웨어 트리거 타임 스탬프를 주요 시계로 사용하십시오.
RCSV 수출 호환성
RCSV의 데이터 플랫폼 는 레로봇 HDF5 형식에서 데이터 세트를 수출하고, 레코딩 세션에서 채집된 모든 필요한 메타데이터 필드를 가지고 있습니다. RCSV의 시설 또는 데이터 수집 서비스를 통해 수집된 데이터 세트는 훈련에 준비가되어 있습니다. 변환 단계가 필요하지 않습니다. RCSV는 또한 자신의 데이터를 공개적으로 공유하려는 연구 파트너에게 Hugging Face Hub에서 데이터 세트를 호스팅합니다.
레로봇 훈련 파이프라인에 RCSV 데이터를 통합하는 것에 대한 질문이 있다면 [RCSV 엔지니어링 팀]
레로봇과 다른 프레임워크
| Framework | Best For | Limitations |
|---|---|---|
| LeRobot | End-to-end IL on real hardware, community datasets | Limited RL support, no sim-to-real pipeline |
| Isaac Lab | GPU-parallelized RL in simulation | No real hardware support, simulation only |
| RoboCasa / MimicGen | Synthetic data generation for household tasks | Simulation only, no real hardware |
| Octo / OpenVLA | Foundation model fine-tuning | Requires pre-trained weights, less flexible |
새로운 로봇 학습 프로젝트를 시작하는 대부분의 팀에게는 레로봇이 기본 선택이 됩니다. 시뮬레이션에서 RL를 위해 아이작 랩을 사용하세요 (이사크 랩 가이드 (Isaac Lab guide)
레로봇 딥 다이브
- [LeRobot Quickstart Tutorial]
T15 ) 단계적으로 설치, 50개의 디모를 녹음, 2시간 이내에 ACT를 훈련시켜 - [LeRobot 통합 참조 (위키) ]
T16 ) DK1, SO-101, OpenArm에 대한 전체 개발자 통합 가이드 - HDF5 vs RLDS vs LeRobot 데이터셋 형식 비교
언제 각각을 사용해야 하며 어떻게 변환해야 하는지 - LeRobot 데이터셋 형식이 설명
파켓 + MP4 스케마 참조 - LeRobot 프레임워크 Definition
간결한 글자국 항목 - LeRobot 오픈소스 데이터 세트
커뮤니티 데이터 세트 허브 개요 - LeRobot Policy Models (ACT, SmolVLA)
모델 아키텍처 참조 - LeRobot 데이터 고치
설비 문제와 수집 실패를 진단 - [LeRobot 데이터 통합 가이드]
T23 ) 가이드웨어, 소프트웨어 및 안전 작업 흐름 - [OpenArm 설정 안내]
T24 ) LeRobot의 하드웨어 설정 - [RL vs 모방 학습]
T25 ) 접근 방식을 선택 - [Isaac Lab 시작]
T26 ) RL 시뮬레이션 - RCSV 데이터 서비스
전문적인 데이터 수집 - RCSV 스토어
OpenArm 및 구성 요소
레로봇 + RCSV 하드웨어에 시작하세요
RCSV의 OpenArm는 레로봇의 원산지 지원을 가지고 있습니다. 매장에서 하나를 구입 (4,500 달러) 또는 월 800 달러에서 임대합니다. RCSV 수출을 통해 수집된 데이터는 레로봇 형식으로 직접 전송됩니다.