帕克西尼代3:从感觉到触觉增强的机器人学习

在8小时内,从您的第一个传感器读到使用触觉反的训练有素机器人操纵政策.您将建立一个完整的抓住质量检测管道,集成到机器人手臂数据收集,相同的工作流程用于接触丰富的操纵研究.

总时间 ~8小时

难度中途

单位 6 (+方向)

硬件 需要 Paxini Gen3 + 任何机器人臂

基本Python,机器人手臂的前提

** 在开始这个路径之前:** 你应该舒适地写基本的Python脚本 (从设备阅读数据,解析阵列) 并拥有一个可以控制的Python SDK的机器人手臂. 你不需要先前的机器人研究经验.如果你对机器人数据收集一般是新鲜的,首先完成 [OpenArm学习路径]T0) 它更深入地涵盖数据收集的基础.

你会建立什么

在这条道路的结束时,你将有:

直接触摸热图

通过GEN3传感器进行500Hz的压力视觉化,确认每个电池都能运行.

抓住质量检测器

在机器人操作时,在实时中区分稳定抓住和易滑的抓住器.

触觉数据集 (50个演示)

具有同步触觉+关节+摄像头道,质量检查,准备好进行训练的LeRobot格式数据集.

触觉意识政策

通过使用触觉输入进行评估,仅根据视觉基线进行评估的训练有素ACT或扩散政策模型.

路径概况

每个单元都以混凝土完成检查结束,

现在,

其他

导向: 开始设置之前

触觉感觉将如何增加机器人学习,硬件和软件检查清单,

没有技术内容

T1)

其他

安装和验证传感器

安装Paxini SDK,通过USB-C连接Gen3,写一个5行流媒体脚本,并运行现场热地图,以确认所有电脑都在运行.

时间:

其他

了解触觉数据

了解压力阵列的空间结构,校准接触检测门,实现抓取检测逻辑,并可视化随着时间的推移进行接触事件.

时间:

T3)

其他

与机器人手臂同步触摸器

按手臂上安装传感器,沿着手臂路由USB,使用MultiSourceSync记录同步的手臂 +触觉 +摄像头框架,

两个小时

T4) [

其他

记录触觉示范

使用扩展的LeRobot数据集格式记录50次抓住和放置示范,使用触觉道.

两个小时

T5)

其他

培养一个敏感的政策

在ACT或射政策中,添加触觉作为观察方式,在数据集上训练,并对可变和透明的物体进行视觉仅基线评估.

~1.5小时 (+培训时间)

开始路径 单元 0 →

或直接跳到 [Unit 1]T8) 如果您已经做过定向.