파키니 3세대: 감지에서 촉각 향상된 로봇 학습

8시간 후에, 첫 번째 센서 읽기에서 촉각 피드백을 이용한 훈련된 로봇 조작 정책으로 이동합니다. 로봇 팔 데이터 수집과 통합된 완전한 잡기 품질 탐지 파이프라인을 구축합니다.

전체 시간 ~ 8시간

간접적 인 어려움

6개 부위 (+ 방향)

하드웨어 요구 사항 Paxini Gen3 + 모든 로봇 팔

필수 조건 기본 파이썬, 로봇 팔

이 길을 시작하기 전에: 기본 파이썬 스크립트를 작성하는 데 편안해야 합니다 (기기에서 데이터를 읽고, 배열을 파싱) 그리고 제어 할 수있는 파이썬 SDK를 가진 로봇 팔을 가지고 있습니다. 이전 로봇 연구 경험이 필요하지 않습니다. 일반적으로 로봇 데이터 수집에 새로운 사람이라면 [OpenArm 학습 경로를]

당신 이 건설 할 것

이 길이 끝날 무렵에는

라이브 타클 히트맵

제3 센서에서 500Hz로 실행되는 스트리밍 압력 시각화, 모든 팩셀이 기능한다는 것을 확인합니다.

품질 탐지기를 잡기

로봇 작동 중 안정적인 잡을 수 있는 잡을 수 있는 온라인 분류기

촉각 데이터 세트 (50 데모)

전체 레로봇 형식 데이터 세트, 동기화된 촉각 + 관절 + 카메라 채널, 품질 검증 및 훈련 준비

촉각 인식 정책

시각만 기준으로 평가된 촉각 입력 을 이용한 ACT 또는 방전 정책 모델

경로 개요

모든 단위들이 순서대로 완료됩니다. 각 단위들은 콘크리트 완성도 검사를 통해 끝납니다.

[

0

방향: 설정 시작 하기 전

촉각 감지 기능이 로봇 학습에 어떤 영향을 미치는지, 하드웨어와 소프트웨어 체크리스트, 무엇을 만들지, 어떻게 막혀있는 경우 도움을 받을 수 있는지에 대해

~30분 · 기술적인 내용도 없습니다

[T1]

1

센서를 설치하고 확인

Paxini SDK를 설치하고 USB-C를 통해 Gen3를 연결하고 5 줄 스트리밍 스크립트를 작성하고 모든 태스텔이 작동하는지 확인하기 위해 실시간 열지도를 실행하십시오.

~ 1시간

[T2]

2

촉각적 인 자료 를 이해 하는 것

압력 배열의 공간 구조를 배우고, 접촉 탐지 문턱을 정렬하고, 포착 탐지 논리를 구현하고, 시간이 지남에 따라 접촉 이벤트를 시각화하십시오.

~ 1.5시간

[T3]

3

로봇 팔과 촉각을 동기화

지지를 꽂아 USB를 팔을 따라 연결하고, 멀티소스싱크를 사용하여 검증된 타임스테이름 조화를 가진 동기화 된 팔 + 촉각 + 카메라 프레임을 기록하십시오.

~ 2시간

[T4]

4

촉각적 인 시사 를 기록

확장된 LeRobot 데이터 세트 형식을 사용하여 50 개의 터틸 채널을 사용하여 잡기 및 장소 시범을 기록하십시오. 품질 체크리스트 및 플래그 슬립 이벤트를 적용하십시오.

~ 2시간

[T5]

5

촉각 을 잘 아는 정책 을 훈련 시키십시오

ACT 또는 방전 정책에 관측 모달리로서 촉각을 추가하고 데이터 세트를 훈련하고 변형 가능한 투명 물체에 대한 시각 기준에 비해서 평가하십시오.

~ 1.5시간 (+ 훈련 시간)

[T6]

길 시작 단위 0 →

또는 오리엔테이션을 이미 수행한 경우 Unit 1 로 직접 뛰어들 수 있습니다.