雷罗特快速启动指南
开始使用"抱着脸"安装,连接机器人臂,记录示范,并在不到2小时内训练你的第一项政策.
开始安装"
初学者 中间
设置2 硬件3 校准4 记录5 视觉6 列车7 评估8 分享
条件
- 支持的机器人臂 (详见第2步)
- Ubuntu 22.04 或 24.04 (macOS 适用于某些功能)
- 字符串 3.10+
- 具有8+GB的VRAM的NVIDIA GPU (用于训练;不用于录音)
- 通过USB网络摄像机或RealSense摄像机
你将建造什么
在这个快速启动中,您将安装LeRobot,连接和校准机器人臂,记录50个选定任务的示范集,训练一个ACT（Action Chunking with Transformers） 政策,运行它在机器人上,并将数据集分享到 HuggingFace Hub.到最后,机器人将自动接收对象并放置它们.
其他
安装 LeRobot
我们建议使用虚拟环境来保持清洁.
复制# 创建一个虚拟环境 python3 -m venv /lerobot_env源/lerobot_env/bin/activate # 安装LeRobot
机器人
快速检查: 如果您看到版本号码,您可以开始. 如果您发现错误缺失了
其他
支持的硬件
雷罗伯特与一个不断增长的价格负担得起的机器人武器生态系统合作.
子
六DOF桌面手臂,动态
价格为200美元 (DIY套件)
开放臂
设计为数据收集的6DOF手臂.
价格为2,400美元
科克 v1.1
五个低成本的手臂,非常适合学习,但适合复杂的任务.
价格为150美元
,,,,,
双臂双手机设置,这是精巧操纵的黄金标准.
超过20,000美元
子
轻量级的6DOF臂,有集成控制器.
五百美元
寡妇X 250
专业的研究机构,来自托罗森机器人.
价值3500美元
需要一个机器人手臂?
开放手臂是从头开始设计的,用于数据收集,预定定,手腕相机安装,领导跟随者准备好.
现在,我们在商店里看了"OpenArm"
其他
连接和校准你的手臂
通过USB插入机器人臂,运行校准程序.
复制# 找你的机器人序列端口 ls /dev/ttyUSB* /dev/ttyACM* # 设置权限 (只需要一次,或添加 udev 规则) sudo chmod 666 /dev/ttyUSB0 # 运行校准 lerobot校准 \ --robot-type=so100 \ --port=/dev/ttyUSB0
校准要求您通过其运动范围移动手臂:
校准SO-100在 /dev/ttyUSB0上... 将关节1 (基) 移到最低位置,然后按 Enter. 将关节1 (基) 移到最大位置,然后按 Enter. ...校准完成!保存到 ~/.lerobot/校准/so100.json
如果您有领袖手臂,也可以进行手术.
复制机器人校准 \ --robot-type=so100 \ --port=/dev/ttyUSB0 \ --leader-port=/dev/ttyUSB1
重要: 如果校准挂,请检查没有其他程序使用序列端口 (关闭任何Arduino IDE,屏幕会议等).
其他
录制50个演示集
现在是时候教你的机器人. 设置一个简单的任务. 我们建议"拿起一个块,把它放在碗里".
复制# 开始录制,使用领袖手机电话操作雷博特记录 \ --robot-type=so100 \ --port=/dev/ttyUSB0 \ --leader-port=/dev/ttyUSB1 \ --fps=30 \ --task="pick_block_place_bowl" \ --num-episodes=50 \ --output-dir=~/datasets/my_first_dataset # 键盘控制: # 输入
记录好的演示技巧:
- 要保持一致: 每个集都从同一位置开始
- ** 运动顺利:** 避免
动或急动运动 - 不同位置: 每次将块放置在稍微不同的位置
- **每次都能成功:**只能保持成功的示范
- **休息:**疲劳导致
拙的演示
50集足够,以执行简单的选择和地点任务.整个录音会程约为2030分钟.每个集通常长515秒.
其他
设想你的数据集
在训练之前,检查记录的事件,以确保它们看起来正确.
复制#启动内置的可视化器 lerobot可视化数据集 \ --dataset-path=~/datasets/my_first_dataset # 或查看特定的集
这将打开一个浏览器窗口,显示相机视图,
- 摄像头图像是清晰的 (不是黑色,不是冷
的) - 关节轨迹是平滑的 (没有突然的
峰) - 剧情开始和结束清洁
- 每个集中都能成功完成任务
复制# 快速统计数据集 python3 -c "从 lerobot.common.datasets 导入 LeRobotDataset ds = LeRobotDataset('~/datasets/my_first_dataset') 打印(f'Episodes: {ds.num_episodes}') 打印(f'Total frames: {len(ds)}') 打印(f'FPS: {ds.fps}') 打印f'Key: {listds[0.keys)))) ") "
其他
培养一个行动政策
现在最有趣的部分是训练一个神经网络的政策在你的演示. 我们将使用ACT (动作
复制# 列车 ACT 政策在你的数据集上 机器人列车\ 政策=行动\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ 保存到____________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________
训练时间取决于您的GPU和数据集尺寸:
- RTX 3060 (12GB): ~30分钟,100集的50集
- RTX 4090 (24 GB): ~10分钟
- 仅CPU: ~3小时 (不建议)
** 停止训练时间:** 观察损失曲线.如果损失在20多个时代中没有减少,你可以早点停止.对小型数据集的过度适应性不太重要,而ACT
其他
评估自己的政策
运行训练的规则,看看它如何执行.
复制# 运行机器人阅读程序的政策 评估 \ --policy-path=~/policies/my_first_policy \ --robot-type=so100 \ --port=/dev/ttyUSB0 \ --num-rollouts=10 # 输出: #rollout 1/10: SUCCESS #rollout 2/10: SUCCESS #rollout 3/10: FAILURE
首先尝试成功率为70%.
- ** 收集更多的示范** 针对特定故障情况 (对象在边缘,不同的方向)
- **如果损失仍在减少,将培训期增加到200
- 试试
散度政策 用于机器人走不同的路径,达到相同目标的任务
转载# 想尝试传播政策吗? 阅读机器人列车 \ --policy=diffusion \ --dataset-path=/datasets/my_first_dataset \ --output-dir=/policies/my_first_diffusion \ --num-epochs=200
其他
给HuggingFace Hub分享
推送数据集和训练有素的政策到 HuggingFace Hub,以便其他人可以使用它
复制#登录HuggingFace (一次性设置) 拥抱face-cli登录 # 推出您的数据集 lerobot推向hub \ --dataset-path=/datasets/my_first_dataset \ --repo-id="您的用户名/我的第一 lerobot-dataset" # 推出您的训练有素的政策 lerobot推向hub \ --policy-path=/policy/my_first_policy \ --repo-id="您的用户名/我的第一-act-policy"
您的数据集现在可在
祝你成功了.
你安装了LeRobot,连接了一个机器人,录制示范,训练一个政策,并部署它.这是现代机器人学习的基础.从这里,你可以扩展到更大的数据集,更复杂的任务,以及VLA模型.
解决问题
连续端口许可被拒绝
运行
无人机臂未被检测
检查USB连接.运行
训练损失不减少
检查数据集是否没有空或腐败:
政策运行,但机器人不会移动.
检查机器人是否处于正确的控制模式.检查操作尺寸是否与机器人相匹配 (6 关节 + 抓住器 = 7D).运行
摄像头的录像是黑色的
检查摄像头指数使用
相关教程
现在,
雷罗特完整指南
完整的概述:雷罗伯特是什么,所有支持的算法,硬件生态系统,以及RCSV如何集成.
收集机器人训练数据
通过质量评分,RLDS格式和最佳实践来扩大数据收集.
调整VLA模型
通过语言控制,在数据集上超越ACT
开放手臂的第一场演示
对于LeRobot来说,这是一个理想的手臂,
常见的问题
什么机器人武器可以与勒罗伯特合作?
雷罗伯特支持SO-100,Koch v1.1,Aloha,Moss,OpenArm,WidowX和 UR系列机器人.框架可扩展.
对于LeRobot的政策培训,我需要多少次示范?
对于简单的任务,如选择和地点,与ACT政策,50个示范足以获得一个工作政策.对于更复杂的任务,目标是100
什么是ACT,与传播政策相比是什么?
ACT（Action Chunking with Transformers） 从单个观察中预测未来的行动序列,使其快速有效地进行操纵任务. 扩散政策使用一种否定的扩散过程来产生行动,并且经常更好地处理多模式行为. ACT训练更快; 扩散政策对模糊的情况更强大. 开始使用 ACT为您的第一项目的.
我可以没有物理机器人使用LeRobot吗?
您可以从HuggingFace Hub培训社区数据集的政策,并在硬件部署之前进行模拟评估.
我需要一个GPU来训练LeRobot的政策吗?
强烈建议使用至少8GB的VRAM的GPU.在50集的ACT政策训练需要在RTX 3060上约30分钟,在RTX 4090上约10分钟.CPU训练是可能的,但需要5
这篇教程有什么帮助?
👍是的
保持机器人技术的前进
获取最新的机器人部署,数据收集和物理人工智能