开始前:两本指导
了解领导/追随者架构,验证硬件和软件,并在开始之前设定时间预期. 没有技术内容.
单位0 个6 个 · 方向 · ~30分钟
了解领导/追随者概念,查看每个检查列表,并设定时间预期.这里没有任何可以安装或配置的东西.
**如果您完成了OpenArm路径:**大多数SDK模式,ROS 2概念和LeRobot工作流程都是一样的.新的是领导/跟随者架构,同步双臂配置以及双手任务的更高数据要求.
为什么要用两臂?
一个机器人手臂对于一个最终效应器足够的任务具有强大作用:选取,排序,检查.但一个大型的现实世界操纵任务基本上需要两个手.人类自然使用两只手的方式.在倒
由于两个手臂都在共享工作空间中运行,并有同步的联合状态,所以模仿学习设置,将领袖/跟随者远程操作
领导/追随者概念
DK1 使用领袖/跟随者架构用于远程操作.
军手领袖
你移动的东西
控制器手臂是轻量,可回车,你可以用手操纵它.它没有有效载荷能力.
追随者武器 (×2)
执行任务的内容
两支全力 DK1 武器,它们可以在实时中反映领导的联合角度.它们与实际工作空间和物体相互作用.
当你远程操作时,你会物理地移动领袖臂. 追随手臂在毫秒内复制这种运动. 当你记录数据时,追随手臂关节状态
这种架构比键盘或VR控制器的遥控更自然,因为运动映射是直接的:将领袖的地图移动到30°在跟随者上.
硬件检查列表
在开始1个单元之前,请检查下面的每一个项目.
- 检查两只手臂都没有损坏,并且所有关节都在不动时自由移动.
轻,可回车的遥控器. 应该轻松手动. - 电源 ×2
每个追随器臂. 包含在套装中. 检查电压规格是否符合墙上插座 (见供应标签). - USB-C电缆 ×3
每臂 (两个追随者+领袖) 进行初始连接.在双手工工作空间中更容易管理较短的电缆 (0.5 1m). - 摄像头 ×2
一个宽角工作空间摄像头 (向上或向前面) 和一个手腕摄像头在主要追随器臂上.二级臂上的第三部摄像头是可选的,但建议用于接触丰富的任务. - 装备硬件**
DK1 需要固定装备,这两只手臂都需要固定装备.套件包括螺旋式板.需要一个硬桌或实验室 . - 双手工作空间
两臂之间至少有80cm × 60cm的透明平面表面.在1个单元期间,用带标记臂的距离边界,以确定安全的操作包裹.
没有物理硬件?您可以在MuJoCo双手动模拟中完成大部分的路径.
软件检查列表
- Ubuntu 22.04 或 24.04
与 OpenArm 相同的要求.一个VM 适用于sim;真正的硬件需要本土Linux来实现实时CAN公交性能. - 运行T0
进行检查. - **ROS 2
- **DK1 SDK (与OpenArm SDK分开) **
安装在单元 2 包含. 现在不要安装. - LeRobot
如果您已从OpenArm路径安装,它将在这里工作.双手动数据集格式使用两个联合状态阵列的相同结构.双手动支持需要版本 ≥0.3.0. - ~25GB的空格盘空间
双手动数据集比单臂数据集 (两个联合状态流,两个摄像头传输) 更大.训练检查站增加了5 10GB. - 强烈推
10GB+VRAM的GPU. CPU上双手 ACT训练是可行的,但需要8 12h进行良好训练.RTX 3080或更好的将这一时间降至2小时以下.
时间估计
双手机安装需要比单臂安装更长时间,每个单元的安装,排列和同步验证.
| Unit | What You Do | Time |
|---|---|---|
| 0 | This orientation | 30 min |
| 1 | Mount and wire two arms, cameras | ~3 h |
| 2 | SDK, leader/follower pairing, sync test | ~2 h |
| 3 | First bimanual teleoperation session | ~2 h |
| 4 | Record 100 synchronized demos | ~3 h |
| 5 | Train ACT bimanual policy | ~4 h |
| 6 | Deploy, evaluate, improve | ~2 h |
| Total | ~16 h 30 min |
计划4
如何得到帮助
- 查看你在任何单位的底部的完成检查
它确切定义了"完成"看起来像什么. - 在 DK1论坛线程
中包含您的Ubuntu版本,SDK版本,确切的错误信息,以及您所在的单元. - 查看第2单元中的故障解决部分,它涵盖了最常见的领导/追随者同步错误.
- 在PST白天时间中加入#dk1-path
的RCSV Discord.
模拟替代方案
DK1路径支持 MuJoCo双手模拟,可复制领导/后者架构,同步关联状态和摄像头传输.你可以完全完成单位0到5.单位6 (实际硬件部署) 需要物理臂.模拟设置指南位于 [硬件/dk1/模拟]
导向完成时...
你已经检查了硬件和软件检查列表中的每一个项目,你明白了领导/跟随者概念,
[← 回到路径概述]