sensor.calibrate() 그리퍼가 열려 있고 언로드된 상태입니다. 이렇게 하면 손가락 자체 접촉과 케이블 스트레스가 0이 됩니다. 팔의 위치가 크게 변경된 경우 다시 교정하십시오.
데이터 수집
촉각적 시연 녹음
촉각 데이터는 대부분의 로봇 학습 데이터 세트에서 누락된 양식입니다. 이 페이지에서는 이것이 중요한 이유, 동기화된 촉각 + 팔 + 카메라 스트림을 기록하는 방법, 확장된 데이터 세트 형식 및 촉각 입력을 사용하는 정책을 훈련하는 방법을 설명합니다.
촉각 데이터가 로봇 학습을 향상시키는 이유
비전은 정책을 말해준다 어디 그리퍼는. 고유감각이 말해준다 얼마나 멀어요 손가락이 닫혀 있습니다. 둘 다 말하지 않는다 그립이 안정적인지. 비전 + 합동 데이터만으로 훈련된 정책은 물체 움직임, 무력 제한 또는 롤아웃 중 시행착오로부터 간접적으로 파악 품질을 추론하는 방법을 배워야 합니다. 촉각 감지를 추가하면 직접적인 접촉 상태 감독이 제공됩니다. 정책은 모든 시연의 모든 단계에서 안전한 파악과 미끄러지기 쉬운 파악을 구별하는 실제 신호를 수신합니다. 이는 시각적 파악 품질 평가가 신뢰할 수 없는 변형 가능하거나 투명하거나 크기가 다양한 개체에 특히 영향을 미칩니다.
동기화된 녹음을 위한 하드웨어 설정
완전한 다중 모드 녹음 장비에는 세 가지 하드웨어 레이어가 필요하며 모두 공통 클럭에 동기화됩니다.
- 로봇 팔 — USB 또는 이더넷을 통해 100~500Hz에서 관절 위치, 속도 및 엔드 이펙터 자세를 제공합니다. 하드웨어 스탬프가 찍힌 조인트 상태를 얻으려면 시스템 시간이 아닌 arm SDK의 타임스탬프 API를 사용하세요.
- Paxini Gen3 센서 — 로봇 손목에 장착된 전원 공급 USB 허브에 연결됩니다. 각 프레임은 USB 인터럽트 시간(나노초 분해능, <0.5 ms 지터)에 호스트 PC에 의해 타임스탬프가 지정됩니다.
- 카메라 — 손목 장착형 카메라 1개(옵션: 머리 위 카메라 1개). 하드웨어 트리거 동기화 기능이 있는 USB 또는 GigE 카메라를 사용하거나 대기 시간이 알려진 소프트웨어 트리거 카메라를 사용하십시오. 30~60fps로 녹화하세요.
세 가지 소스 모두 동일한 단조 호스트 시계를 사용하여 타임스탬프를 작성합니다. 플랫폼 SDK의 멀티소스 레코더 타임스탬프 보간을 사용하여 후처리 시간에 프레임을 정렬합니다.
# Complete synchronized recording session
paxini.sync에서 MultiSourceRecorder 가져오기 레코더 = MultiSourceRecorder( arm=arm_인터페이스, 센서=paxini.Sensor(), 카메라=카메라_인터페이스, 출력_디렉터리="./demo_recordings/", Episode_prefix="파악_장소" ) 레코더.시작_에피소드()
# ... perform the manipulation demo ...
Recorder.end_episode() # saves episode_000.hdf5
데이터 세트 형식 - 확장된 LeRobot 스키마
Paxini Gen3 데이터 수집 파이프라인은 추가 촉각 채널을 통해 표준 LeRobot HDF5 데이터 세트 형식을 확장합니다. 기존 LeRobot 도구(데이터 로딩, 시각화, 정책 교육)는 완전히 호환됩니다. 새 키는 이를 사용하지 않는 파이프라인에서 무시됩니다.
| HDF5 키 | 모양 | 원천 |
|---|---|---|
| 관찰.상태 | (티, 7) | 팔 관절 위치 + 그리퍼 너비 |
| 관찰.이미지.손목 | (T, H, W, 3) | 손목 카메라(uint8 RGB) |
| 행동 | (티, 7) | 대상 관절 위치 + 그리퍼 명령 |
| 관찰.촉각.압력_맵 | (T, 8, 8) | Paxini Gen3 압력 배열(kPa, float32) |
| 관찰.촉각.총_힘_n | (티,) | 프레임당 총 수직력(뉴턴) |
| 관찰.촉각.접촉 | (티,) | 프레임당 부울 접촉 플래그 |
| 관찰.촉각.접촉_중심 | (티, 2) | 프레임당 접촉 중심(행, 열) |
| 메타/타임스탬프_ns | (티,) | 모든 채널에 대한 나노초 타임스탬프 |
새로운 촉각 키가 강조 표시됩니다. 다른 모든 키는 표준 LeRobot 스키마를 따릅니다.
촉각 데이터에 대한 품질 체크리스트
✓
각 세션 전에 기준선 보정 실행
부르다
✓
접촉 이벤트가 영상과 일치하는지 확인
전체 데이터세트를 수집하기 전에 데이터 시각화 도우미에서 5개 에피소드를 검토하세요. 그만큼
in_contact 상승 에지는 카메라 피드에서 손가락 끝과 물체가 접촉하는 가시적인 순간과 일치해야 합니다. 20ms보다 큰 지연은 타임스탬프 정렬 문제를 나타냅니다.
✓
시연에서 전체 힘 범위를 포괄합니다.
가벼운 그립, 중간 그립, 단단한 그립 수준에서 그립을 기록하는 것을 목표로 하세요. 모든 데모가 최대 그리퍼 힘을 사용하는 경우 정책은 접촉 압력을 조절하는 방법을 학습하지 않습니다. 에피소드 전반에 걸쳐 물체의 무게와 규정 준수를 다양하게 변경하세요.
✓
학습 데이터에서 슬립 이벤트에 플래그를 지정하고 제외합니다.
개체가 파악 중에 미끄러지지만 데모가 계속해서 성공적인 결과를 얻는 에피소드에는 상충되는 감독 신호가 포함되어 있습니다. SDK를 사용하세요
paxini.annotate.flag_slip_events(episode) 검토를 위해 자동으로 표시합니다.
✓
센서 포화도 확인
만약에
pressure_map.max() 어떤 에피소드에서든 600kPa에 도달하면 센서가 포화 상태입니다. 더 무거운 그립을 위해 그리퍼 힘을 줄이거나 손바닥 변형(탁셀당 더 낮은 최대 압력)을 사용하십시오.
촉각 입력을 통한 정책 교육
ACT 또는 확산 정책에서 관찰 양식으로 촉각을 추가하려면 압력 맵 또는 집계된 스칼라(total_force_n). 압력 맵은 전체 공간 정보를 제공하지만 센서당 프레임당 64개의 부동 소수점을 추가합니다. 스칼라는 통합하기가 더 쉽고 바이너리 파악 품질 작업에 충분합니다.
# ACT config snippet — add tactile to observation space
관찰_키: - 관찰 상태 # joint positions
- 관찰.이미지.손목 # camera
- 관찰.촉각.total_force_n # scalar
- 관찰.촉각.압력_맵 # optional: full map
# Normalize tactile observations
촉각 정규화: total_force_n: {평균: 2.5, 표준: 1.8} Pressure_map: {평균: 12.0, 표준: 45.0} # kPa statistics from your dataset
기록된 데이터 세트에서 정규화 통계를 계산하고 비전 전용 기준에 대해 평가하는 방법을 포함한 전체 학습 연습은 다음을 참조하세요. 학습 경로 단원 5.
능숙한 손 데이터 수집 전략에 대한 더 넓은 맥락은 다음을 참조하세요. 민첩한 손 가이드.