如果您完成了 OpenArm 路径: 大多数 SDK 模式、ROS 2 概念和 LeRobot 工作流程都是相同的。 新鲜的是领导者/跟随者架构、同步双臂配置以及双手任务的更高数据要求。 本单元恰好涵盖了这些差异。

为什么有两只手臂?

单个机器人手臂对于一个末端执行器就足够的任务来说功能强大:拾放、分类、检查。 但现实世界中的一大类操作任务从根本上来说需要两只手——就像人类理所当然地使用双手一样。 倾倒时握住容器。 组装零件需要一只手稳定,另一只手插入。 折叠布、剥包装、在任务中将物体从一只手传递到另一只手。

这些任务不仅用一只手臂“更难”——它们在架构上与单臂设置不兼容。 DK1 的双手架构使您可以访问整个任务类别。 由于双臂在具有同步关节状态的共享工作空间中运行,因此模仿学习设置(领导者/追随者远程操作输入单个策略)比您想象的更干净。

领导者/追随者概念

二手 DK1 领导者/追随者架构 用于远程操作。 这个概念很简单:

领导臂

你移动的东西

一种轻质、可向后驱动的控制臂,您可以用手实际操作。 它没有有效负载能力——它唯一的工作就是以高频率感知和传输你想要的运动。

从动臂(×2)

什么执行任务

两条全强度 DK1 手臂实时反映领导者的关节角度。 它们与实际的工作空间和对象交互。 这些是在部署期间运行训练有素的策略的部门。

当您进行远程操作时,您可以物理移动引导臂。 从动臂在几毫秒内复制该运动。 当您记录数据时,将保存从动臂关节状态(而不是引导臂关节状态)。 当您训练策略时,您正在训练从动臂来重现领导者捕捉到的运动模式。 引导臂在推理时完全退出。

这种架构比键盘或 VR 控制器远程操作更自然,因为运动映射是直接的:将引导者移动 30° 映射到跟随者上的 30°。 您身体的本体感觉直接传输给机器人。

硬件清单

在开始第 1 单元之前验证以下每一项。

  • DK1从动臂×2 — 套件中的双臂。 确认抵达时均未损坏,并且所有关节在断电时可自由移动。
  • DK1主控臂 — 更轻、可反向驱动的远程操作控制器。 用手应该能轻松移动。
  • 电源×2 — 每个从动臂一个。 包含在套件中。 验证电压规格是否与您的墙壁插座匹配(请参阅电源标签)。
  • USB-C 线缆 ×3 — 每臂一个(追随者 + 领导者)用于初始连接。 较短的电缆 (0.5–1m) 更容易在双手工作空间中管理。
  • 相机×2 — 主从动臂上安装一台广角工作区摄像头(自上而下或前置)和一台腕式摄像头。 第二臂上的第三个摄像头是可选的,但建议用于接触丰富的任务。
  • 安装硬件 — DK1 需要固定安装两个从动臂。 该套件包括螺栓固定板。 需要一张坚固的桌子或实验室工作台——折叠桌会产生振动,从而降低数据质量。
  • 双手工作区 — 两臂之间至少有 80 厘米 × 60 厘米的清晰平坦表面。 在第 1 单元期间用胶带标记手臂到达边界,以定义安全操作范围。

没有物理硬件? 您可以在 MuJoCo 双手模拟中完成此路径的大部分内容。 请参阅 DK1模拟设置指南 在第 1 单元之前。

软件清单

  • Ubuntu 22.04 或 24.04 — 与 OpenArm 相同的要求。 虚拟机适用于SIM卡; 真正的硬件需要本机 Linux 来实现实时 CAN 总线性能。
  • Python 3.10 或更高版本 - 跑步 python3 --version 检查。
  • ROS 2 谦逊或爵士 — 如果您完成了 OpenArm 路径,则它已经安装。 跑步 ros2 --version 来验证。
  • DK1 SDK(与 OpenArm SDK 分开) — 第 2 单元中介绍的安装。现在不要安装 — 必须在双臂物理安装后进行配对配置。
  • 乐机器人 — 如果您从 OpenArm 路径安装了它,它将在这里工作。 双手数据集格式使用与两个联合状态数组相同的结构。 双手支持需要版本≥0.3.0。
  • ~25 GB 可用磁盘空间 — 双手数据集比单臂数据集大(两个联合状态流,两个摄像头输入)。 训练检查点会额外增加 5-10 GB。
  • GPU 配备 10GB+ VRAM ——强烈推荐。 CPU 上的双手 ACT 训练是可行的,但需要 8-12 小时才能获得良好的训练效果。 RTX 3080 或更高版本可将这一时间缩短至 2 小时以下。

预计时间

双手设置比单臂设置需要更长的时间 - 考虑到每个单元的安装、对准和同步验证的时间。

单元 你做什么 时间
0这个方向30分钟
1安装并连接两个臂、摄像头〜3小时
2SDK、leader/follower配对、同步测试〜2小时
3第一次双手遥控操作〜2小时
4录制 100 个同步演示〜3小时
5训练 ACT 双手策略〜4小时
6部署、评估、改进〜2小时
全部的 约 16 小时 30 分钟

计划 4-5 次会议。 第 1 单元和第 2 单元自然地结合在一起(硬件设置 + 软件配置在一个会话中)。 一旦您熟练掌握了双手遥控操作,第 3 单元和第 4 单元最好一起完成。 第 5 单元训练可以过夜进行。

如何获得帮助

  1. 检查 完成检查 在你所在的任何单元的底部——它准确地定义了“完成”的样子。
  2. 发表在 DK1 论坛帖子 — 包括您的 Ubuntu 版本、SDK 版本、确切的错误消息以及您所在的设备。 双手特定问题通常有特定于手臂的错误代码; 包括两者。
  3. 检查 故障排除部分 在第 2 单元中 — 它涵盖了最常见的领导者/跟随者同步错误。
  4. 加入 SVRC 不和谐 在 #dk1-path 中 — PST 白天响应速度更快。

模拟替代方案

DK1 路径支持 MuJoCo 双手模拟,可复制领导者/跟随者架构、同步关节状态和摄像头输入。 您可以完全在模拟中完成第 0 单元到第 5 单元。 第 6 单元(真实硬件部署)需要物理手臂。 模拟设置指南位于 硬件/dk1/模拟.

定向完成时...

您已经检查了硬件和软件清单中的每一项,您了解领导者/跟随者概念并可以用一句话解释它,您知道在哪里寻求帮助,并且您已经为第 1 单元硬件设置留出了第一个 3 小时的课程。