为什么有两只手臂?
单个机器人手臂对于一个末端执行器就足够的任务来说功能强大:拾放、分类、检查。 但现实世界中的一大类操作任务从根本上来说需要两只手——就像人类理所当然地使用双手一样。 倾倒时握住容器。 组装零件需要一只手稳定,另一只手插入。 折叠布、剥包装、在任务中将物体从一只手传递到另一只手。
这些任务不仅用一只手臂“更难”——它们在架构上与单臂设置不兼容。 DK1 的双手架构使您可以访问整个任务类别。 由于双臂在具有同步关节状态的共享工作空间中运行,因此模仿学习设置(领导者/追随者远程操作输入单个策略)比您想象的更干净。
领导者/追随者概念
二手 DK1 领导者/追随者架构 用于远程操作。 这个概念很简单:
你移动的东西
一种轻质、可向后驱动的控制臂,您可以用手实际操作。 它没有有效负载能力——它唯一的工作就是以高频率感知和传输你想要的运动。
什么执行任务
两条全强度 DK1 手臂实时反映领导者的关节角度。 它们与实际的工作空间和对象交互。 这些是在部署期间运行训练有素的策略的部门。
当您进行远程操作时,您可以物理移动引导臂。 从动臂在几毫秒内复制该运动。 当您记录数据时,将保存从动臂关节状态(而不是引导臂关节状态)。 当您训练策略时,您正在训练从动臂来重现领导者捕捉到的运动模式。 引导臂在推理时完全退出。
这种架构比键盘或 VR 控制器远程操作更自然,因为运动映射是直接的:将引导者移动 30° 映射到跟随者上的 30°。 您身体的本体感觉直接传输给机器人。
硬件清单
在开始第 1 单元之前验证以下每一项。
- DK1从动臂×2 — 套件中的双臂。 确认抵达时均未损坏,并且所有关节在断电时可自由移动。
- DK1主控臂 — 更轻、可反向驱动的远程操作控制器。 用手应该能轻松移动。
- 电源×2 — 每个从动臂一个。 包含在套件中。 验证电压规格是否与您的墙壁插座匹配(请参阅电源标签)。
- USB-C 线缆 ×3 — 每臂一个(追随者 + 领导者)用于初始连接。 较短的电缆 (0.5–1m) 更容易在双手工作空间中管理。
- 相机×2 — 主从动臂上安装一台广角工作区摄像头(自上而下或前置)和一台腕式摄像头。 第二臂上的第三个摄像头是可选的,但建议用于接触丰富的任务。
- 安装硬件 — DK1 需要固定安装两个从动臂。 该套件包括螺栓固定板。 需要一张坚固的桌子或实验室工作台——折叠桌会产生振动,从而降低数据质量。
- 双手工作区 — 两臂之间至少有 80 厘米 × 60 厘米的清晰平坦表面。 在第 1 单元期间用胶带标记手臂到达边界,以定义安全操作范围。
没有物理硬件? 您可以在 MuJoCo 双手模拟中完成此路径的大部分内容。 请参阅 DK1模拟设置指南 在第 1 单元之前。
软件清单
- Ubuntu 22.04 或 24.04 — 与 OpenArm 相同的要求。 虚拟机适用于SIM卡; 真正的硬件需要本机 Linux 来实现实时 CAN 总线性能。
- Python 3.10 或更高版本 - 跑步
python3 --version检查。 - ROS 2 谦逊或爵士 — 如果您完成了 OpenArm 路径,则它已经安装。 跑步
ros2 --version来验证。 - DK1 SDK(与 OpenArm SDK 分开) — 第 2 单元中介绍的安装。现在不要安装 — 必须在双臂物理安装后进行配对配置。
- 乐机器人 — 如果您从 OpenArm 路径安装了它,它将在这里工作。 双手数据集格式使用与两个联合状态数组相同的结构。 双手支持需要版本≥0.3.0。
- ~25 GB 可用磁盘空间 — 双手数据集比单臂数据集大(两个联合状态流,两个摄像头输入)。 训练检查点会额外增加 5-10 GB。
- GPU 配备 10GB+ VRAM ——强烈推荐。 CPU 上的双手 ACT 训练是可行的,但需要 8-12 小时才能获得良好的训练效果。 RTX 3080 或更高版本可将这一时间缩短至 2 小时以下。
预计时间
双手设置比单臂设置需要更长的时间 - 考虑到每个单元的安装、对准和同步验证的时间。
| 单元 | 你做什么 | 时间 |
|---|---|---|
| 0 | 这个方向 | 30分钟 |
| 1 | 安装并连接两个臂、摄像头 | 〜3小时 |
| 2 | SDK、leader/follower配对、同步测试 | 〜2小时 |
| 3 | 第一次双手遥控操作 | 〜2小时 |
| 4 | 录制 100 个同步演示 | 〜3小时 |
| 5 | 训练 ACT 双手策略 | 〜4小时 |
| 6 | 部署、评估、改进 | 〜2小时 |
| 全部的 | 约 16 小时 30 分钟 | |
计划 4-5 次会议。 第 1 单元和第 2 单元自然地结合在一起(硬件设置 + 软件配置在一个会话中)。 一旦您熟练掌握了双手遥控操作,第 3 单元和第 4 单元最好一起完成。 第 5 单元训练可以过夜进行。
如何获得帮助
- 检查 完成检查 在你所在的任何单元的底部——它准确地定义了“完成”的样子。
- 发表在 DK1 论坛帖子 — 包括您的 Ubuntu 版本、SDK 版本、确切的错误消息以及您所在的设备。 双手特定问题通常有特定于手臂的错误代码; 包括两者。
- 检查 故障排除部分 在第 2 单元中 — 它涵盖了最常见的领导者/跟随者同步错误。
- 加入 SVRC 不和谐 在 #dk1-path 中 — PST 白天响应速度更快。
模拟替代方案
DK1 路径支持 MuJoCo 双手模拟,可复制领导者/跟随者架构、同步关节状态和摄像头输入。 您可以完全在模拟中完成第 0 单元到第 5 单元。 第 6 单元(真实硬件部署)需要物理手臂。 模拟设置指南位于 硬件/dk1/模拟.
定向完成时...
您已经检查了硬件和软件清单中的每一项,您了解领导者/跟随者概念并可以用一句话解释它,您知道在哪里寻求帮助,并且您已经为第 1 单元硬件设置留出了第一个 3 小时的课程。