촉각 을 잘 아는 정책 을 훈련 시키십시오

5중 5단위 · 기차 & 배치 · ~1.5시간 (+ 훈련시간)

마지막 단위: ACT 또는 방전 정책에 관측 모달리티로 촉각을 추가하고 데이터 세트에서 정상화 통계를 계산하고 훈련을 실행하고 비전 기준에 따라 평가합니다.

단계 1 촉각 모달리티를 추가

정책 구성의 확장

촉각 관측은 전체 압력 지도 (공간, 프레임당 64 값) 또는 집합 스칼라 (총_force_n) 으로 추가할 수 있습니다. 스칼라 을 시작하면 대부분의 조작 작업에 더 쉽게 정상화하고 충분합니다. 작업에 공간 접촉 정보가 필요한 경우 압력 지도를 추가하십시오.

# lerobot/configs/policy/act_paxini.yaml 정책: 이름: akt 데이터셋: repo_id: local/paxini-grasp-place observations_features: - observations.state # joint positions (7,) - observations.images.wrist # wrist camera (H, W, 3) - observations.tactile.total_force_n # scalar force (1,) - observations.tactile.contact_area_mm2 # scalar area (1,) # 선택: 전체 압력 지도 → - observation.tactile.pressure_map # (8, 8) 괄호함 위치: - action # joint positions (64,) \ action_features: - action # action (7,)

단계 2 컴퓨팅 정상화 통계를

데이터 세트에서 정상화 통계는

항상 특정 데이터 세트에서 정상화 통계를 계산합니다. 하드코드 된 값을 사용하지 않습니다. Paxini SDK는 이를 위한 유틸리티를 제공합니다.

# Paxini.data import compute_dataset_stats stats = compute_dataset_stats"/tactile_dataset/") print(stats.to_yaml()) # 예상 출력 (사례 값): # 관찰.tactile.total_force_n: # 평균: 2.84 # std: 1.93 # min: 0.0 # max: 14.2 # 관찰.tactile.contact_area_mm2: # 평균: 22.4 # std: 18.6 \ 저장하여 통계 구성을 저장합니다"./act_paxini_stats.yaml")

무엇 때문에 타클리 신호에 있어서 정상화가 중요합니까 힘 값 (020 N) 은 관절 위치 (일반적으로 ±π 광선) 과 픽셀 값 (0255) 보다 완전히 다른 규모에 있습니다. 정상화 없이는 모델은 타클리 신호를 무시하는 것을 배우게 될 것입니다. 왜냐하면 그 크기는 훈련 중에 시각 손실 기간에 의해 압도되기 때문입니다.

단계 3 훈련

훈련 지휘

터틸 구성으로 ACT 훈련을 시작하세요. 훈련 시간은: 8GB GPU에서 45분, CPU에서 3시간

# LeRobot 설치하면 이미 설치되지 않은 경우 pip lerobot 설치 # 스펙트럼 모달과 함께 기차 ACT python lerobot/scripts/train.py \ --config-name act_paxini \ --dataset-path ./tactile_dataset/ \ --stats-path ./act_paxini_stats.yaml \ --output-dir ./checkpoints/act_tactile/ \ --num-epochs 300 \ --batch-size 8 \ --seed 42 \ # 모니터링 훈련 손실 (특별 터미널에서) tensorboard --logdir ./checkpoints/act_tactile/logs/

검증 손실 평판이 완료되면 훈련이 완료됩니다. 100 Hz에서 50 에피소드 동안, 200250 시대를 중심으로 konvergence를 기대합니다. TensorBoard의 촉각_obs_loss 메트릭은 주요 행동 손실과 함께 꾸준히 감소해야합니다.

단계 4 시각만 기준에 비해 평가

시각에만 대한 개선 의 평가

같은 데이터 세트에 비전 + 자체 인식 (타클 채널이 없습니다) 를 이용한 두 번째 정책을 훈련하십시오. 이것은 기본 라인입니다. 목표 작업에 대한 각 정책에 대한 20 개 이상의 배포를 평가하십시오.

# 비전만 기본 라인을 훈련 ( 같은 구성, 미인스 터틸 키) python lerobot/scripts/train.py \ --config-name act_vision_only \ --dataset-path ./tactile_dataset/ \ --output-dir ./checkpoints/act_baseline/ # 양 정책을 평가합니다 20개의 로롤링을 각각 python lerobot/scripts/evall.py \ --checkpoint ./checkpoints/act_tactile/best.ck \ --num-episodes 20 \ --num-name "tactile" python lerobot/scripts/evall.py --checkpoint ./checkpoints/act_baseline/best.is \ --pt-episodes 20 \ --evall-line "

잡기 안정성 측정기준의 개선을 찾으십시오. 특히 미끄러지기 쉬운 물체에 대한 작업 성공률과 배치 단계에서 평균 수류 기간을 특히 찾아보십시오. 촉각에 대한 인식 정책은 일반적으로 변형 가능한 및 변동적 중량 물체에서 가장 큰 개선을 보여줍니다.

** 촉각이 성능을 향상시키지 못한다면 어떻게 해야 하는가** 첫째, 데이터 세트의 접촉 이벤트들이 비디오와 일치하는지 확인하세요 (Unit 4 품질 확인). 둘째, 정상화 통계가 올바르게 계산되었는지 확인하세요. 셋째, 압력 지도를 관찰으로 추가하려고 시도해 보세요.

다음은 뭐야?

다음 방향

[

멀티 센서 퓨전

손가락당 촉각을 이용한 5개의 손가락으로 확장된 설정.

](T0)

힘 제어 루프

진압 제어에 대해 Gen3의 실시간 스트림을 피드백 신호로 사용 감지된 슬립 이벤트에 따라 잡기 힘을 역동적으로 조정하십시오.

손잡기로부터의 보상

촉각에서 인체질을 온라인 보상 신호로 사용하여 강화 학습을 위한

길 이 완성

여러분은 첫 번째 센서 읽기에서 훈련된 촉각 인식 조작 정책으로 이동했습니다. 이제 여러분은 모든 접촉 부가 있는 작업에 적용할 수 있는 완전한 파이프라인 하드웨어, 데이터, 정책 을 가지고 있습니다.

5부대 완료...

훈련은 오류 없이 완료되고 체크포인트가 생성됩니다. 촉각 검증 손실은 감소하고 훈련 중에 고원화됩니다. 당신은 촉각 정책과 시각만 기준에 대한 20 가지 평가 배포를 실행하고 비교를 위해 성공률을 기록했습니다.