连接您的机器人或开放模拟

如果您使用的是真正的机器人,请立即连接它并在运行记录命令之前确认您的系统可以识别它。 如果您正在进行模拟工作,则记录命令可以驱动虚拟机器人 gym_pusht 或者 gym_aloha 使用键盘或脚本化策略作为远程操作源的环境。

# Real robot — verify connection (replace so100 with your robot type) python -m lerobot.scripts.control_robot \ --robot-path lerobot/configs/robot/so100.yaml \ --控制模式远程操作 \ --teleop-时间-s 5 # Simulation — no hardware needed python -m lerobot.scripts.control_robot \ --robot-path lerobot/configs/robot/so100_sim.yaml \ --控制模式远程操作 \ --teleop-时间-s 5

您应该看到终端输出中的关节状态流以及(对于真实的机器人)手臂对输入的响应。 如果没有,请先解决连接问题,然后再继续 - 使用断开连接的机器人进行录制会默默地产生损坏的数据。

记录命令

核心录制命令。 根据您的设置调整标志:

python -m lerobot.scripts.control_robot \ --robot-path lerobot/configs/robot/so100.yaml \ --控制模式记录\ --dataset.repo-id $HF_USER/pick-place-v1 \ --dataset.num-episodes 50 \ --dataset.single-task "拿起红色立方体并将其放入碗中" \ --数据集.fps 30 \ --dataset.push-to-hub 1 \ --显示摄像头 1 # $HF_USER is your HuggingFace username (set via: export HF_USER=your_username) # --dataset.push-to-hub 1 uploads automatically after each episode # --display-cameras 1 shows live camera feeds during recording
模拟录音: 代替 --robot-path 与你的SIM卡配置。 添加 --env-name gym_pusht/PushT-v0--policy-path lerobot/act_pusht_keypoints 记录基线数据集的脚本(非人类)演示。

有多少示威?

正确的数字取决于您的设置:

  • 模拟: 50 个有剧本的剧集对于基准政策来说就足够了。 环境是确定性的,因此方差很低,50 足以让 ACT 收敛。
  • 真正的机器人,简单的任务: 50-80 次真人演示。 如果您的演示是一致的,则具有固定对象位置的拾取和放置可以在此范围的低端进行良好的训练。
  • 真实机器人,可变任务: 100-200 次演示。 如果对象位置不同,或者任务需要多个子步骤,则需要更多的覆盖范围。

对于此路径,目标 至少 50 次演示。 质量胜过数量——50 次一致的演示每次都胜过 150 次马虎的演示。

良好的示范实践

一致的工作区设置

在每集之前将对象重置到相同位置。 使用桌子上的胶带标记起始位置。 该策略将从演示中的位置分布中学习 - 如果它们都位于同一位置,则策略将针对该位置进行校准。

完整、完整的剧集

每集都应从相同的起始姿势开始,并以完全完成任务结束。 不要在任务中停止录制。 抓手抓握到一半的不完整事件会教会模型一种损坏的行为。

深思熟虑、流畅的动作

以最大速度的 40–60% 移动。 足够慢才能平稳,足够快而不紧张。 该模型从您的演示中学习时间安排——不稳定的速度会产生不稳定的政策。

部分或中止的演示

如果您掉落对象、与工作区碰撞或触发错误,请按 Ctrl+C 中止该剧集。 该剧集将被丢弃。 永远不要推送中止的剧集——它会毒害数据集。

策略不一致

不要混合策略:不要在某些演示中从左侧抓握,而在其他演示中不要从右侧抓握。 选择一种方法并将其用于每一集。 ACT 的 CVAE 学习一种单一的“风格”——不一致迫使它进行平均,从而无法可靠地产生两种策略。

推送至 HuggingFace Hub

如果你没有设置 --dataset.push-to-hub 1 录制期间,会话结束后手动推送:

# Push your completed dataset to HuggingFace Hub python -m lerobot.scripts.push_dataset_to_hub \ --dataset-dir ~/lerobot-datasets/pick-place-v1 \ --repo-id $HF_USER/pick-place-v1 # Verify it is live at: # https://huggingface.co/datasets/$HF_USER/pick-place-v1
数据集可见性: 新数据集默认在 HuggingFace Hub 上公开。 如果您的工作区或任务很敏感,请添加 --private 1 到推送命令。 公共数据集为机器人社区做出贡献,并可能在 SVRC数据集库.

第 3 单元完成时...

HuggingFace Hub 上的 LeRobot 数据集中至少有 50 个完整的、未中止的演示。 您可以使用以下方式加载数据集 LeRobotDataset("your-username/pick-place-v1") 并查看预计的集数。 您已经使用以下方式可视化了至少 5 个自己的剧集 lerobot.scripts.visualize_dataset 并确认关节轨迹看起来平滑并且夹具状态变化干净。 您已准备好接受第 4 单元的训练。