勒罗伯特:开源机器人学习图书馆 <unk> 完整指南
关于"抱抱脸勒罗бот"的一切:它是什么,ACT/Diffusion Policy/TDMPC算法,支持的硬件,数据集格式,快启动教程,以及RCSV出口兼容性.
部分: [机器人数据收集指南]
勒罗бот是 Hugging Face 机器人学习的开源库.它涵盖了数据收集,数据集存储,政策培训和最广泛使用的研究平台的硬件接口.它已成为2025年和2026年新机器人学习项目默认起点.
莱罗博是什么?
勒罗бот是一个由 Hugging Face 维护的Python图书馆,为机器人学习研究提供了端到端的基础设施. 它处理了四个不同的问题:从实际硬件上记录机器人示范,将这些示范存储和版本在标准化数据集格式中,在这些数据集上培训最先进的模仿学习和强化学习政策,并将训练的政策部署到实际硬件进行评估. 您可以使用LeRobot仅用于数据存储,或用于全堆训练和部署.
该项目位于GitHub,由Huggingface组织组成,截至2026年初,已累积了数万颗星星和数百名贡献者.数据集可以从Hugging Face Hub上发布和下载,从而为LeRobot提供了日益增长的共享数据集存储库,作为社区数据市场.
勒罗波特特别有价值的是,它消除了每个机器人学习项目都使用的"管道"工作:写摄像头驱动程序,实现数据记录,构建数据集加载器,设置训练循环和将电缆重新转向硬件. 在LeRobot之前,每个实验室都建立了自己的基础设施版本,这些基础设施通常很脆弱,没有文件,其他实验室无法复制.
雷罗伯特生态系统
雷罗бот位于工具,数据集和硬件平台的不断增长生态系统的中心:
| Component | Role | Status |
|---|---|---|
| LeRobot Python library | Core framework for recording, training, evaluation | Stable (v0.5+) |
| Hugging Face Hub | Dataset hosting, versioning, community sharing | Production |
| Hardware drivers | ALOHA, Koch, SO-100/101, OpenArm, Lekiwi | Growing (community contributed) |
| Policy implementations | ACT, Diffusion Policy, TDMPC2 | Stable |
| Simulation environments | Aloha sim, PushT, xArm sim | Stable (for testing/dev) |
| Weights & Biases integration | Experiment tracking, loss curves, video logging | Built-in |
支持的算法
利罗伯特公司提供了三个政策类别的本地实施方案,涵盖了机器人学习研究中最广泛使用的方法.
动作与变压器的碎
ACT是微粒操作任务的主要算法.它使用基于变压器的CVAE (Conditional Variational 自编码器) 架构,具有时间组合.关键创新是"行动散步"
推
传播政策
实现了基于CNN和基于变压器的变体,用于行动预测的
训练需要8-12小时. 推理速度比ACT慢 (需要多次测试步骤),平均每次测试时间为50-100ms,具体取决于测试步骤数量 (默认: 10-15).
鱼类
模拟环境可用时,TDMPC2 (Temporal Difference 模型预测控制) 是一个基于模型的RL算法,它学习了世界模型和政策,提供了样本效率的培训.与ACT和扩散政策不同,TDMPC2不需要人类示范.它仅仅从环境互动中学习.
模型可以更好地将其整合到新配置,而不是在某些环境中学习纯粹的模仿.
每个算法都在 PyTorch 中实现,包括标准训练脚本,水力配置管理和实验跟踪的权重和偏差集成.算法之间的切换是单个配置文件的变化,使比较评估变得简单.
支持的硬件
产品的硬件集成包括:
| Platform | Type | DOF | Price Range | RCSV Available |
|---|---|---|---|---|
| ALOHA (ViperX) | Bimanual | 14 (2x7) | $15,000-20,000 | Yes (lab + lease) |
| Koch Arms | Single-arm | 6 | $1,500-3,000 | No |
| SO-100 / SO-101 | Single-arm | 5-6 | $300-800 | No |
| OpenArm 1 | Single-arm | 6 | $4,500 | Yes (store + lease) |
| Lekiwi | Mobile + arm | 6+3 | $2,000-4,000 | No |
通过RCSV的 [商店]
摄像头支持通过OpenCV,英特尔RealSense深度摄像头和网络摄像头阵列覆盖USB摄像头.录像系统处理多摄像头同步和软件时间
勒罗бот数据集格式
雷罗波特将数据集存储为标准化集集结构的HDF5文件.每个集包含观测阵列 (像视频流压缩的图像,像 float32阵列的联合状态),行动 (联合位置目标),时间标签和注释 (任务语言字符串,成功标志). 这种格式是自定义的和可移植的:在一个机器上记录的数据集可以在任何其他机器上进行编程,而不需要修改.
数据集结构是这样的:
dataset/
meta/
info.json # Robot config, camera params, stats
episodes.jsonl # Episode-level metadata
data/
chunk-000/
episode_000000.parquet # State + action data
videos/
chunk-000/
observation.images.top/
episode_000000.mp4 # Compressed camera streams
observation.images.wrist/
episode_000000.mp4
在 Hugging Face Hub 上发布的数据集包括数据集卡,包含统计数据,任务描述和使用示例. 这使得社区的数据集容易发现和重复使用,从而减少了常见任务的数据收集负担.
开始:完整的教程
设有硬件或使用模拟,从安装到训练有素的政策的完整工作流程.
步骤1:安装
勒罗бот需要 Python 3.10+ 和 PyTorch 2.0+.
# Clone and install
git clone https://github.com/huggingface/lerobot.git
cd lerobot
pip install -e ".[all]"
# Verify installation
python -c "import lerobot; print(lerobot.__version__)"
总安装时间:在已配置CUDA的机器上使用5-10分钟.如果没有CUDA,首先安装PyTorch与CPU,然后在训练数据时转移到GPU.
步骤2:记录示范 (真实硬件)
如果您有OpenArm或其他支持的硬件:
# Start recording with teleoperation
python lerobot/scripts/control_robot.py record \
--robot-path lerobot/configs/robot/openarm.yaml \
--fps 30 \
--root data/my_dataset \
--repo-id my-hf-user/my-task-dataset \
--num-episodes 50 \
--warmup-time-s 2 \
--episode-time-s 30 \
--reset-time-s 10
录音脚本处理摄像头同步,联合状态记录和集段.在集中,您有
步骤3: 视觉化和验证数据
# Visualize recorded episodes
python lerobot/scripts/visualize_dataset.py \
--root data/my_dataset \
--episode-index 0
总是检查您的第5至10集,然后再收集更多. 检查:正确的摄像头角度,顺利的关节运动跟踪,正确的节目开始/结束剪辑,和一致的工作场所设置. 早期捕捉问题节省了多个时间的重新收集.
步骤 4: 制定政策
# Train ACT policy on your dataset
python lerobot/scripts/train.py \
policy=act \
dataset_repo_id=my-hf-user/my-task-dataset \
training.num_epochs=2000 \
training.batch_size=8 \
wandb.enable=true
训练时间取决于数据集的大小和GPU.在RTX 4090上,50集:ACT约2小时,
步骤5: 评估真实硬件
# Deploy trained policy
python lerobot/scripts/control_robot.py record \
--robot-path lerobot/configs/robot/openarm.yaml \
--fps 30 \
--root data/eval_dataset \
--repo-id my-hf-user/my-task-eval \
--num-episodes 20 \
--policy-overrides policy.path=outputs/train/act/checkpoints/last/pretrained_model
运行至少20个评估集在各种对象位置,以获得可靠的成功率估计.记录评估集后分析.
如何将RCSV硬件与LeRobot集成
基于RCSV的硬件生态系统,
OpenArm 1: 运输带 LeRobot 机器人配置 YAML 文件.插入控制板,运行 LeRobot 控制脚本,你会在几分钟内录制示范.领导跟踪者远程操作系统直接映射到 LeRobot 的录制接口.查看我们的 [OpenArm 设置指南]
DK1双手动: 在LeRobot中配置为ALOHA兼容的双手动系统. 双手动系统可通过单个机器人配置访问. DK1上记录的双手动示范与ACT双手动政策实施兼容.
**RCSV平台集成:**通过RCSV平台收集的数据集可以直接在LeRobot格式中通过单击出口.出口包括所有所需的元数据:摄像头内在,机器人URDF,节目注释和成功标签.不需要手动格式转换.
社区数据集中心
据了解,在2026年初,该中心拥有来自社区的数百个机器人学习数据集,包括:
- 采用各种臂板和物体组的选用和定位
- ALOHA双手工任务 (
,折叠,组装) - SO-100社区挑战和基准
- 移动操作Lekiwi和定制平台
- 推进技术和其他基准任务的模拟数据集
您可以在
常见的陷和解决问题
- ** 摄像头框架下降:** USB带宽限制.如果通过单个 USB 控制器运行3+ 个 USB 摄像头,则会获得框架下降.解决方案:使用独立控制器的 PCIe USB 卡,或减少摄像头分辨率/框架率.
- 服务通信时间: 动态串行巴士可以在高流量下停机. 通过将返回延迟设置为最低的状态返回包数量减少.
- ** 培训分歧:** 如果初步降低后损失增加,则减少学习率2-5倍. ACT对学习率敏感
从1e-5开始,只有 konvergence太慢时才能增加. - ** 部署期间的政策动荡:** 在 ACT 配置中增加时间组合窗口大小.默认通常太小,不能用于缓慢,故意的任务.
- ** 事件时间标签的错误排列:** LeRobot使用软件时间标签.对于需要 <10ms同步的高精度任务,考虑用于摄像头的硬件触发和使用硬件触发时间标签作为主要的钟.
欧盟的贸易和贸易
通过RCSV的设施或数据收集服务收集的数据集准备好进行培训. 没有需要转换步骤. RCSV还为想公开分享数据的研究合作伙伴提供数据集在Hugging Face Hub上托管.
如果您有有关将RCSV数据与LeRobot培训管道集成的问题, [RCSV工程团队]
莱罗伯特与其他框架
| Framework | Best For | Limitations |
|---|---|---|
| LeRobot | End-to-end IL on real hardware, community datasets | Limited RL support, no sim-to-real pipeline |
| Isaac Lab | GPU-parallelized RL in simulation | No real hardware support, simulation only |
| RoboCasa / MimicGen | Synthetic data generation for household tasks | Simulation only, no real hardware |
| Octo / OpenVLA | Foundation model fine-tuning | Requires pre-trained weights, less flexible |
对于大多数开始新机器人学习项目的团队来说,LeRobot是正确的默认选择.在模拟中使用 Isaac Lab for RL (见我们的[Isaac Lab指南]
雷罗特深潜
步骤:安装,录制50个演示,在不到2小时内训练ACT 对于 DK1,SO-101,OpenArm的完整开发者集成指南 - HDF5 vs RLDS vs LeRobot 数据集格式相比
如何使用每个格式以及如何转换 - LeRobot数据集格式解释
- [LeRobot框架定义]
T19 ) 简单的词典入口 - LeRobot开源数据集
社区数据集中心概述 - LeRobot政策模型 (ACT,SmolVLA)
模型架构参考 - [解决勒罗бот数据问题]
T22 ) 诊断设置问题和收集故障 - [LeRobot数据集成指南]
T23 ) 电缆硬件,软件和安全工作流程 T24 ) LeRobot 的硬件设置 T25 ) 选择自己的方法 T26 ) RL在模拟中 - [RCSV数据服务]
T27 ) 专业数据收集
开始使用LeRobot + RCSV硬件
通过RCSV出口直接到LeRobot格式,收集的数据可以直接转移到LeRobot格式.