LeRobot：开源机器人学习库解释

什么是乐机器人？

LeRobot 是一个由 Hugging Face 维护的 Python 库，为机器人学习研究提供端到端的基础设施。 它处理四个不同的问题：从真实硬件记录机器人演示，以标准化数据集格式存储和版本化这些演示，在这些数据集上训练最先进的模仿学习和强化学习策略，以及将经过训练的策略部署回真实硬件以进行评估。 这些功能都是模块化的——您可以将乐机器人仅用于数据存储，也可以用于全栈训练和部署。

该项目以 Huggingface 组织名义存在于 GitHub 上，截至 2026 年初，已积累了数万名 Star 和数百名贡献者。 数据集可以发布到 Hugging Face Hub 并从 Hugging Face Hub 下载，这为 LeRobot 提供了一个不断增长的共享数据集存储库，充当社区数据市场。

支持的算法

LeRobot 附带了三个策略类的本机实现。 ACT（使用 Transformers 进行动作分块）是细粒度操作任务的主要算法：它使用基于 Transformer 的 CVAE 架构和时间集成，是大多数灵巧操作工作流程的推荐起点。 Diffusion Policy 实现了基于 CNN 和基于 Transformer 的去噪扩散变体，用于动作预测，在多模态动作分布的任务上表现出色。 TDMPC2（时域差分模型预测控制）是一种基于模型的 RL 算法，可学习世界模型和策略，在模拟环境可用时提供样本高效的训练。

每个算法都在 PyTorch 中实现，具有标准训练脚本、Hydra 配置管理以及用于实验跟踪的权重和偏差集成。 算法之间的切换只需更改单个配置文件，从而使比较评估变得简单。

支持的硬件

开箱即用的硬件集成包括 ALOHA 双手系统（ViperX 手臂）、Koch 手臂、SO-100 和 SO-101 低成本手臂、Lekiwi 移动平台和多个基于 Dynamixel 伺服的定制手臂。 OpenArm，可通过 SVRC 获取 店铺，具有对远程操作记录和策略部署的本地乐机器人支持。 添加新的硬件平台需要实现一个机器人接口类，其中包含读取关节状态和发送关节命令的方法——对于新手臂来说通常需要几百行代码。

摄像头支持涵盖通过 OpenCV 的 USB 摄像头、英特尔实感深度摄像头和网络摄像头阵列。 记录系统通过软件时间戳处理多摄像机同步，并支持每个摄像机的可配置帧速率和分辨率。

乐机器人数据集格式

乐机器人将数据集存储为具有标准化剧集结构的 HDF5 文件。 每集包含观察数组（压缩为视频流的图像、float32 数组的关节状态）、动作（关节位置目标）、时间戳和注释（任务语言字符串、成功标志）。 元数据文件描述机器人配置、相机校准和数据集统计。 这种格式被设计为自描述和可移植的：一台机器上记录的数据集可以加载到任何其他机器上进行训练，无需修改。

发布到 Hugging Face Hub 的数据集包括包含统计信息、任务描述和使用示例的数据集卡。 这使得您可以轻松地发现和重用社区中的数据集，从而减轻常见任务的数据收集负担。

乐机器人入门

安装需要 Python 3.10+ 和 PyTorch。 建议的第一个项目是在任何支持的硬件上记录 50 个简单拾放任务的演示，然后根据这些演示训练 ACT 策略。 LeRobot 的文档提供了从硬件设置到策略评估的完整演练。 对于没有自己硬件的团队，SVRC 通过我们的 租赁计划 专门用于启用基于 LeRobot 的数据收集。

SVRC 导出兼容性

SVRC的 数据平台 以原生 LeRobot HDF5 格式导出数据集，并从记录会话中填充所有必需的元数据字段。 通过 SVRC 设施或数据收集服务收集的数据集已准备好进行训练 - 无需转换步骤。 SVRC 还在 Hugging Face Hub 上为想要公开共享数据的研究合作伙伴提供数据集托管。 如果您对将 SVRC 数据与乐机器人训练流程集成有疑问， SVRC工程团队 可以提供帮助。