Paxini Gen3 Path(으)로 돌아가기

시작 하기 전 에 필요한 것

팩시니 제3 학습 경로의 방향성. 로봇 학습에 촉각 감지이 추가하는 것, 하드웨어 및 소프트웨어 체크리스트, 그리고 당신이 만들 것.

5의 0 단위 · 방향 · ~30분

이 단위는 순수한 방향입니다. 각 체크리스트를 살펴보고 로봇 학습에 촉각 감지이 어떤 영향을 미치는지 알아보고 1 단위를 시작하기 전에 시간 추정치를 읽어보세요.

이 단위가 존재하는 이유: 촉각 감지은 로봇 파이프라인에 새로운 데이터 모달성을 추가합니다. 즉 새로운 오류 모드가 센서가 감지되지 않습니다. 시간표의 부조리, 캘리브레이션 파동이 있습니다. 이 단위는 케이블을 만지기 전에 당신이 무엇을 만들고 있는지 이해하기 위해 존재합니다.

촉각 감지 은 로봇 학습 에 어떤 이점을 더 합니까?

대부분의 로봇 학습 데이터 세트는 3가지 방식으로 구성되어 있습니다. 관절 위치 (자유 수용), 카메라 이미지 (관광) 및 때로는 손목 힘/토크. 이 중 어느 것도 현재 객체에 대한 고정된 잡지를 가진지 여부를 알려주는 정책이 없습니다.

촉각 감지 장치 (촉각 감지) 는 이 격차를 채우는데, 손가락 끝에 설치된 센서는 지갑 표면에 접촉 압력 분포를 측정합니다.

** 구체적인 개선** 접촉 부가 있는 조작 기준 (변형형 물체, 변수중량 물체, 투명 컨테이너) 에서, Gen3 데이터로 훈련된 촉각 인식 정책은 포착 안정성 측정 기준에 있어서 비전 기준을 15~40%로 지속적으로 우월합니다. 이 개선은 시각적 포착 품질 추정이 모호한 객체에서 가장 큰 것입니다. 실제 응용 분야에서 가장 중요한 경우입니다.

하드웨어 체크리스트

1단체 시작하기 전에 아래의 모든 항목을 손에 쥐고 있는지 확인하세요.

  • Paxini Gen3 센서 모듈 손가락 끝, 손가락 패드, 또는 손바닥 변종. 당신이 아직 주문하지 않은 경우, Paxini Gen3 허브 참조 주문 및 변종 선택 지침을 참조하십시오.
  • **USB-C 케이블 (박스 안에 포함) ** 센서와 함께 전송되는 짧은 0.5m 케이블. 팔 통합을 위해, 또한 USB 허브가 필요합니다.
  • 그리퍼의 설치 어댑터 주문 시 에 그리퍼를 지정 한 경우 상자 에 포함 되어 있습니다. 사용자 지정 그리퍼를 위해, 접착 장과 M2 스크루를 사용 하십시오. 부하를 적용 하기 전에 접착 장을 30 분 동안 구워 놓으십시오.
  • ** 파이썬 SDK를 가진 로봇 팔** 어떤 호환 가능한 팔 (OpenArm, Franka, UR 시리즈 또는 유사한) 이든지. 시간표로 공동 위치를 반환하는 작동하는 파이썬 인터페이스가 필요합니다. 3 단위는 통합 특성을 다루고 있습니다.
  • ** 손목 장착 카메라 (부동 4+) ** USB 또는 GigE 카메라. 최소 30fps. 이미 팔 설정에 연결되어있는 것은 좋습니다.

소프트웨어 체크리스트

1부전 전에 이 항목을 확인해 주세요.

  • ** 파이썬 3.10 이상** 실행 T0. Paxini SDK는 3.10+가 필요합니다.
  • pip 및 venv T1를 실행합니다. 이 경로에 새로운 가상 환경을 생성합니다.
  • ~5 GB의 무료 디스크 공간 SDK, 데이터 세트 녹음 및 모델 체크포인트. 50 템의 만지기적인 데이터 세트 는 약 1.5 GB 이다.
  • ** 로봇 팔 SDK가 설치되어 있고 작동하고 있습니다** 이 길이 팔 SDK 설정을 포함하지 않습니다.
  • ** GPU (Unit 5) ** 8GB+ VRAM를 가진 NVIDIA GPU는 ACT 훈련을 ~ 3 시간에서 ~ 45 분으로 줄인다. CPU 훈련은 작동하지만 느립니다. 클라우드 GPU 옵션은 Unit 5에서 다루어집니다.

시간 추정

Unit What You Do Time
0 This orientation ~30 min
1 SDK install, first reading, heatmap verify ~1 h
2 Data structure, calibration, grasp detection ~1.5 h
3 Mount sensor, sync with arm, verify timestamps ~2 h
4 Record 50 demo dataset with tactile ~2 h
5 Train tactile policy, evaluate vs baseline ~1.5 h
Total ~8 h 30 min

12 단위는 로봇 팔 (센서만) 없이 한 세션에서 수행될 수 있다. 34 단위는 전체 하드웨어 설정을 필요로 하며, 각각 한 세션에서 가장 잘 작동한다. 5 단위 훈련은 감독 없이 실행될 수 있다.

도움 을 얻는 방법

  1. 당신이 있는 단체의 아래쪽에 있는 완료 확인을 확인해 보세요. 모든 것이 작동할 때 정확히 무엇을 볼 수 있는지 명시합니다.
  2. [소프트웨어 가이드] (T5) 에 있는 문제 해결 섹션을 읽어보세요.
  3. ** 포럼 질문 스레드** 에 OS, SDK 버전 (T3) 및 전체 오류 출력으로 게시하십시오.

오리엔테이션 완료

두 체크리스트의 모든 항목을 확인하고, 올바른 설치 어댑터와 함께 팔에 Paxini Gen3 센서를 가지고 있으며, 단위 1에 대해 적어도 1시간을 중단되지 않고 예약했습니다.

[← 경로 개요로 돌아가요]