ACT 와 퍼포스 정책: 올바른 알고리즘을 선택하는 실용적인 지침
로봇 조작에 대해 액션 <unk>킹 (ACT) 와 트랜스포머 (Transformers) 을 사용할 때
[이미테이션 학습 가이드]
[← 블로그]
알고리즘 선택은 데이터 품질보다 덜 중요하지만 올바른 것이 중요합니다.
빠른 요약
ACT (Action Chunking with Transformers, Zhao et al. 2023) 는 CVAE를 사용하여 동시다발적으로 예측되는 20-100 개의 미래의 행동의 일련의 액션
인퍼런스 레이텐스: 실용적인 제약
실시간 로봇 제어에 있어서 추론 지연은 다른 고려보다 알고리즘 선택을 결정하는 어려운 제약입니다.
| Algorithm | Inference Time | Control Hz | Notes |
|---|---|---|---|
| ACT | 50 ms | 20 Hz | Executes 20-step chunks; real inference rate much lower |
| Diffusion Policy (DDPM) | 500 ms | 2 Hz | Too slow for reactive tasks without chunking |
| Diffusion Policy (DDIM 10 steps) | 200 ms | 5 Hz | Acceptable for slow manipulation |
| Consistency Policy | 50 ms | 20 Hz | Single denoising step; matches ACT latency |
| ACT + temporal ensemble | 50 ms | 20 Hz | Smoothing across multiple chunk predictions |
만약 당신의 작업이 반응적인 높은 주파수 제어 (잡고, 쏟아부고, 고속 집합) 를 필요로 한다면, 표준 방전 정책 DDPM는 단순히 너무 느리다. ACT 또는 일관성 정책을 사용한다. 만약 당신의 작업은 200ms 지연이 허용되는 느리고 정밀한 조작을 포함한다면, DDIM 방전 정책은 실행 가능하며 더 나은 결과를 가져올 수 있다.
업무 유형 추천
- ** 빠른 반응 작업 (잡기, 조동, 고속 픽업 장소):** ACT 또는 일관성 정책. 20Hz 제어 속도는 실시간 적응을 허용합니다. 2Hz에서 방출 DDPM는 움직이는 물체에 반응 할 수 없습니다.
- 수수 가능한 여러 솔루션 (Peg-in-hole, USB 삽입, 천 접는) 을 가진 정확성 작업: 방전 정책. 그 명시적인 다 모다성으로, 평균 전략이 실패하는 정확성 작업에 중요한 평균
뿐만 아니라 성공적인 포착 전략에 대한 분포를 모델링 할 수 있습니다. - ** 10 단계 이상의 긴 지평선 작업:** 알고리즘은 그 자체로 충분하지 않습니다. 계층적 정책을 사용하십시오. 작업 계획자는 하위 작업 순서를 선택하고, ACT 또는 퍼포먼스 정책은 개별 하위 작업을 실행합니다.
- ** 객체 위치가 크게 달라지는 작업:** 둘 다 작동하지만, 충분한 데이터를 가지고 훈련되면 디스포션 정책은 새로운 객체 위치로 더 잘 일반화되는 경향이 있습니다.
교육 데이터 요구 사항
| Algorithm | Minimum Demos | Recommended | Training Time (single GPU) |
|---|---|---|---|
| ACT | 50 | 100–500 | 2–4 hours |
| Diffusion Policy (DDPM) | 200 | 500–2000 | 6–12 hours |
| Consistency Policy | 100 | 300–1000 | 4–8 hours |
ACT의 낮은 데이터 요구 사항은 500개 이상의 데모를 수집하는 데 비용이 많이 드는 새로운 작업 탐구에 대한 진정한 장점입니다. 그러나 디스포시 정책은 종종 더 많은 데이터가 사용할 때 ACT를 따라잡고 능가합니다. 특히 정밀 작업에 대해. 1,000개 이상의 데이터 예산이있는 경우, 디스포시 정책을 진지하게 평가하십시오.
초다원치 민감성
ACT의 중요한 과다 매개 변수는 CVAE 손실의 KL 분화 중입니다. 너무 낮습니다. 잠자리 공간은 붕괴되고 정책은 맥락을 무시합니다. 너무 높습니다. 정책은 시범을 무시하고 평균으로 되돌아갑니다. 표준 권고: 10에서 시작하여 1, 5, 10, 50을 작은 데이터 세트에 스캔합니다.
디푸지언 정책은 학습 속도 스케줄과 잡음 변동 스케줄에 더 민감하다. 원래 DDPM 구현은 선형 온화 LR와 함께 코시네 잡음 스케줄을 사용합니다. 이러한 기본 설정은 실제로 잘 작동합니다. 가장 일반적인 오류는 너무 높은 학습 속도를 사용하는 것입니다 (>3e-4과 아담), 이는 접촉 풍부한 데이터에 대한 훈련 불안정을 유발합니다.
결정 매트릭스
| Condition | Recommended Algorithm |
|---|---|
| < 200 demos available | ACT |
| Reactive/high-speed task | ACT or Consistency Policy |
| 정밀도 with multi-modal solutions | Diffusion Policy |
| > 500 demos, slow task | Diffusion Policy |
| Deployment on low-compute hardware | ACT (lighter model) |
| Want to use HuggingFace LeRobot | Both supported |
두 알고리즘은 RCSV [데이터 플랫폼] (
모자 아래: ACT 건축
ACT (Transformers와 액션
코더: 시각 코더는 미리 훈련된 척추 (일반적으로 ResNet-18 또는 ViT 변종) 를 통해 카메라 이미지를 처리한다. 관상 기능과 결합된 상태 (propiocception) 는 결합된다. 결합된 관찰은 컨텍스트 임베디션을 생성하는 트랜스포머 코더에 공급된다.
CVAE: 훈련 중에, CVAE 코더는 기본 진실 행동 순서와 관찰을 통해 잠잠한 변수 z를 생성합니다. 추론 과정에서, z는 학습된 전 (관측에만 조건) 에서 샘플을 취합니다. 잠잠한 z는 행동의 "스타일을" 캡처합니다. 다른 z 샘플은 작업을 완료하는 데 다른 그러나 유효한 전략을 생성합니다. CVAE 손실의 KL 분차 기간은 전과 후반 분포가 가까운 상태를 보장하여 시험 시 전과 샘플링이 가능합니다.
** 디코더:** 트랜스포머 디코더는 컨텍스트 임베디션과 잠그림 z를 취하고 자동으로 액션 덩어리를 생성합니다. 각 출력 위치에서는 한 액션을 예측합니다.
** 시간적 집합:** 배포 시 ACT는 재시시 단계마다 겹치는 액션 덩어리를 생성하고, 덩어리 경계에서
모자 아래: 전파 정책 건축
디푸지언 폴리키는 DDPM (Denoising Diffusion Probabilistic Model) 프레임워크를 로봇 행동 예측에 적용한다. 소음에서 이미지를 생성하는 대신 (사진 전파 모델과 마찬가지로) 소음에서 행동 순서를 생성한다.
** 앞으로의 과정:** 훈련 중에, 잡음은 T 전파 단계 (DDPM에서 일반적으로 T=100) 에 대한 기초 진실 행동 순서에 점차적으로 추가됩니다. 단계 T에서는 순수한 가우스 잡음이 작용합니다. 모델은 이 과정을 역전하는 법을 배우습니다. 단계 t에서 잡음적인 행동과 관찰을 고려하면 추가된 잡음을 예측합니다 (epsilon 예측) 또는 깨끗한 행동을 직접합니다.
** 네트워크 아키텍처:** 디노이징 네트워크는 1D U-네트 (전환형, 액션 시퀀스의 시간적 차원에서 작동하는) 또는 트랜스포머가 될 수 있습니다. U-네트 변종은 원래의 가장 테스트 된 변종이며, 트랜스포머 변종 (DP-T, 디스푸전스 정책 트랜스포머) 은 더 나은 확장 속성으로 채택되고 있습니다. 두 가지 모두 입력으로: 소음스러운 행동 순서, 전파 시간 단계 t (신우조형 임베디션으로 암호화) 및 시각 척추에서 관찰 코딩을 사용합니다.
유추: 순수한 소음에서 출발하여, 모델은 T 단계에 걸쳐 반복적으로 소음하여 깨끗한 행동 순서를 생성합니다. DDPM는 T=100 단계를 사용합니다 ( 느린). DDIM (Denoising Diffusion Implicit Models) 는 최소한의 품질 손실을 가리지 않고 10-20 단계로 줄입니다. 일관성 디스틸레이션은 전체 디노이징 프로세스를 하나의 단계로 붕괴시켜, 추가 훈련 복잡성의 비용으로 ACT의 추론 속도를 일치시킵니다.
** 다중 모다리티:** ACT에 비해 디프루전 정책의 핵심 장점은 명시적인 다중 모다리아 행동 분포 모델링입니다. 작업이 여러 유효한 전략을 가지고있는 경우 (왼쪽에서 오른쪽, 위에서 반대편에서 잡기) 디프루전 모델은 학습된 분포의 모든 유효한 모드를 나타낼 수 있습니다. ACT의 CVAE는 또한 잠자리 공간을 통해 여러 모드를 나타낼 수 있지만, KL 정규화는 특히 제한된 훈련 데이터로 실제에서 모드를 붕괴시키는 경향이 있습니다. 방전 정책은 소음 초기화에서 다른 모드로 회전 할 수 있기 때문에 모드를 더 안정적으로 보존합니다.
하이브리드 접근법: ACT와 전파 정책을 결합
두 알고리즘의 강점을 결합하는 여러 하이브리드 접근법이 등장했습니다.
- DP-T (방산 정책 변환기): U-Net의 디노이징 네트워크를 트랜스포머로 대체하여 액션 시퀀스 길과 관찰 복잡성으로 더 나은 확장성을 얻습니다. DDIM 10 단계 추론을 가진 DP-T는 멀티모달 액션 예측과 함께 100ms 지연을 달성합니다. 이것은 충분한 계산을 가진 팀의 기본 선택입니다.
- **연합 정책:**연합 훈련 정책을 일조 훈련을 사용하여 단일 단계 생성자로 분비합니다. 결과는 ACT의 50ms 추론과 일치하면서 연동 정책의 다모달 행동 분포를 유지합니다. 타협:연합 훈련은 전체 훈련 시간에 50-100%를 추가하고 일조 손실 무게의 신중한 하이퍼 파라미터 조정이 필요합니다.
- Multi-head 예측을 가진 ACT: 단일 CVAE 디코더 대신 각이 다른 액션 조각을 예측하는 K 디코더 헤드를 사용하십시오. 추론에서, 예측된 조각이 가장 최근의 관찰에 비해 가장 낮은 재구성 오류를 가진 머리를 선택하십시오. 이것은 ACT 수준의 추론 속도에 диск레트 멀티 모다리티 (K 모드) 를 제공합니다. 실용적인 K 값은 3-5.
- 하이러직 DP + ACT: 낮은 주파수 (1-2 Hz) 에서 높은 수준의 기술 선택 (전략을 파악하고 방향에 접근하는) 을 위해 디스포션 정책을 사용하며, 높은 주파수 (20 Hz) 에서 낮은 수준의 궤도를 실행하기 위해 ACT를 사용한다. 이것은 DP의 다모달 계획과 ACT의 빠른 반응 제어 기능을 결합한다.
하드웨어 플랫폼에 의한 인퍼런스 벤치마크
배포 하드웨어는 어떤 알고리즘이 실행 가능한지를 결정한다. 이러한 벤치마크는 표준 모델 크기를 사용합니다 (ACT: ResNet-18 척추 + 4층 변수, ~25M 매개 변수; 방출 정책: ResNet-18 + 1D U-Net, ~55M 매개 변수; 일관성 정책: DP와 동일한 건축물, 단 단계로 정제).
| Algorithm | RTX 4090 | RTX 3060 | Jetson Orin (64GB) | Jetson Orin Nano | Apple M2 (MPS) | CPU (i7-13700) |
|---|---|---|---|---|---|---|
| ACT (chunk=50) | 12 ms / 83 Hz | 35 ms / 28 Hz | 50 ms / 20 Hz | 120 ms / 8 Hz | 65 ms / 15 Hz | 180 ms / 5.5 Hz |
| ACT (chunk=100) | 18 ms / 55 Hz | 50 ms / 20 Hz | 75 ms / 13 Hz | 180 ms / 5.5 Hz | 95 ms / 10 Hz | 280 ms / 3.5 Hz |
| DP (DDPM, 100 steps) | 150 ms / 6.6 Hz | 420 ms / 2.4 Hz | 600 ms / 1.7 Hz | 1800 ms / 0.6 Hz | 550 ms / 1.8 Hz | 4200 ms / 0.2 Hz |
| DP (DDIM, 10 steps) | 22 ms / 45 Hz | 65 ms / 15 Hz | 100 ms / 10 Hz | 280 ms / 3.6 Hz | 85 ms / 12 Hz | 650 ms / 1.5 Hz |
| DP-T (DDIM, 10 steps) | 28 ms / 35 Hz | 80 ms / 12.5 Hz | 120 ms / 8 Hz | 350 ms / 2.9 Hz | 105 ms / 9.5 Hz | 820 ms / 1.2 Hz |
| Consistency Policy | 15 ms / 66 Hz | 45 ms / 22 Hz | 70 ms / 14 Hz | 200 ms / 5 Hz | 60 ms / 16 Hz | 350 ms / 2.9 Hz |
** 핵심 관찰:** DDPM 디프루션 정책은 데스크톱 GPU 이하의 모든 데 사용할 수 없습니다. 10 단계의 DDIM는 Jetson Orin (10 Hz는 대부분의 조작 작업에 충분합니다). ACT는 Jetson Orin Nano (8 Hz의 chunk=50) 에서 허용 가능한 속도로 실행되는 유일한 알고리즘입니다. 일관성 정책은 ACT 속도를 맞추고 DP의 다모달적 특성을 유지하면서 중급 하드웨어에서 가장 좋은 선택으로 만들어집니다. 추가적인 훈련 시간을 감당할 수 있다면요.
모바일 로봇 (RCSV에서 유닛리 G1, 모바일 ALOHA 플랫폼) 에 대해, 제트슨 오린은 표준 컴퓨팅 모듈입니다. 이것은 당신의 실용적인 선택이 ACT, DDIM DP 또는 일관성 정책이 있음을 의미합니다. DDPM DP는 네트워크로 연결된 데스크톱 GPU에서만 실행 가능합니다 (망 latency 5-15ms를 추가합니다. 느린 작업에 용이합니다).
훈련 효율성 비교
훈련 비용은 데이터 세트 크기와 GPU 하드웨어, 알고리즘에 따라 다릅니다. 이 벤치마크는 표준 설정을 사용합니다: 2 카메라 입력 (224x224), 7-DOF 액션 공간, 단일 NVIDIA GPU.
| Scenario | ACT (A100) | ACT (RTX 3060) | DP (A100) | DP (RTX 3060) | CP (A100) |
|---|---|---|---|---|---|
| 100 demos, 2K epochs | 45 min | 2.5 hr | 2 hr | 8 hr | 4 hr* |
| 500 demos, 2K epochs | 3 hr | 12 hr | 8 hr | 36 hr | 16 hr* |
| 2000 demos, 3K epochs | 18 hr | 72 hr | 48 hr | 8+ days | 96 hr* |
| Cloud cost estimate (above) | $35 | N/A (local) | $95 | N/A (local) | $190* |
ACT는 동일한 데이터 세트 크기에 대한 디프루션 정책보다 3-4배 더 빠르게 훈련합니다. 이는 데이터 수집 전략과 하이퍼 파라미터에 반복하는 빠른 프로토타입 제작 중에 중요한 요소입니다. 일반적인 개발 주기는 작업 정책에 konverge하기 전에 5-10 배열-평가- 수집 반복을 포함합니다. 지역 RTX 3060에서 500 개의 데모를 통해, 이는 ACT에 대한 5-10 일 훈련과 DP에 대한 15-30 일입니다. 이것은 첫 번째 작업 탐구에 대한 ACT를 시작하여 데이터 수집이 완료되면 DP로 전환하는 것을 정당화합니다. 그리고 최대 성능을 원합니다.
작업 수준 성공률 비교
공개된 평가 및 RCSV 내부 벤치마크에서 원자 번호 OpenArm 1 + RealSense D435i. 모든 정책은 각각의 작업에 대한 동일한 시범 데이터 세트에 훈련. 성공 = 시범 시간 2x 이내에 완료된 작업.
| Task | Demos | ACT | DP (DDIM) | CP | Winner |
|---|---|---|---|---|---|
| Pick cube (single position) | 50 | 92% | 85% | 88% | ACT |
| Pick cube (random position) | 200 | 78% | 84% | 82% | DP |
| Peg insertion (tight fit, 1mm) | 300 | 55% | 72% | 68% | DP |
| Bimanual handover | 200 | 75% | 70% | 72% | ACT |
| Cloth folding | 500 | 40% | 62% | 58% | DP |
| Pour liquid (speed-critical) | 150 | 68% | 52% | 65% | ACT |
| Stack 3 blocks (sequential) | 400 | 35% | 48% | 45% | DP |
** 패턴:** ACT는 속도 (포는, 전달) 를 필요로 하는 작업과 작은 데이터 세트 (50 개의 데모를 가진 단일 위치 선택) 에서 승리한다. DP는 정확성 작업 (peg 삽입), 높은 차이는 (자발적 위치, 천질 접는) 과 과 과 과 과 과 과 과 (블록 스택) 에서 승리한다. 데이터 세트 크기가 증가함에 따라 격차가 좁아진다. 1000+ 개의 데모와 함께 DP는 모든 작업 유형에서 ACT를 지속적으로 우월합니다.
일반적인 실패 모드와 디버깅
두 알고리즘 모두 예측 가능한 방법으로 실패합니다. 실패 패턴을 인식하면 더 많은 데이터, 다른 하이퍼 파라미터 또는 완전히 다른 알고리즘이 수정되었는지 알려줍니다.
ACT에 대한 특정 실패
- ** 모드 평균 (접근 근처의 허리 오스컬레이션):** 정책은 두 가지 유효한 전략을 평균 (왼쪽과 오른쪽으로 접근) 으로 아무데도 가지 않는 궤도를 생성합니다. 수정: 모드 참여를 촉진하기 위해 KL 무게를 증가시키거나 하나의 전략을 일관되게 사용하는 더 많은 시범을 수집하십시오. 작업이 본질적으로 다 모달 행동이 필요한 경우, 디스포지션 정책으로 전환하십시오.
- ** 조각 경계 불일치 (N 단계마다 갑자기 흔들):** 시간 집합은 연속적인 조각들 사이에 충분히 부드러워지지 않습니다. 수정: 집합 무게 붕괴를 줄여주십시오 (0.005 대신 0.01) 또는 조각 중복을 증가하십시오 (25 단계 대신 10 단계마다 재 예측하십시오).
- 장시간 작업 (>15초) 에서 유동: ACT는 장시간 동안 축적된 오류를 수정하는 명시적인 메커니즘을 가지고 있지 않습니다. 정책은 계획된 궤도에서 천천히 이탈하는 오픈 루프 조각을 예측합니다. 수정: 재시시 빈도를 높여 (पूर्ण 조각을 실행하는 대신 5-10 단계마다 재시설) 또는 조각들 사이에 폐쇄 루프 오류 수정을 추가합니다.
전파 정책에 대한 특정 실패
- ** 방해에 대한 느린 반응:** 100 단계 DDPM로, 정책은 500ms 동안 예기치 않은 사건 (물질 슬라이프, 인간 개입) 에 반응할 수 없습니다. 수정: 10 단계 DDIM 또는 일관성 정책으로 전환하십시오. 반응형 하위 작업에 대해 반응형 구성 요소에 대해 ACT와 하이브리드 아키텍처를 사용하십시오.
- ** 훈련 붕괴 (손실 스피크, NaN 기하급수):** 3e-4 이상의 학습률 또는 32 이하의 배트 크기의 경우 일반적입니다.
- ** 너무 부드러운 궤도 (그리퍼가 너무 느리게 열/ 닫는다):** 디푸지언 디노이징 프로세스는 자연스럽게 액션 분포를 부드럽게 하고, 급격한 그리퍼 전환을 완결시킬 수 있습니다. 수정: 훈련 중에 DDPM 단계를 증가 (100 대신 200) 를 시도하여 급격한 전환을 유지하거나, 또는 포스트 프로세스를 통해 그리퍼 차원을 열대 (> 0.5 = 열린, < 0.5 = 닫힌) 로 처리합니다.
ONNX 수출 및 텐서RT 최적화
가장자리 하드웨어에 배포하기 위해 ACT와 DP 모두 ONNX 수출 및 TensorRT 최적화에서 크게 혜택을 누립니다. 전형적인 속도:
# export_act_onnx.py -- ACT를 lerobot.common.policies.act.modeling_act import ACTPolicy # Load trained checkpoint policy = ACTPolicy.from_pretrained("path/to/checkpoint") policy.eval.py) # 제작하여 관측 공간에 맞는 도미 입력 공인물 (Dummy_obs) = { "observation.images.top": torch.randm(1, 3, 224, 224), "observation.im.wrist: torch. \n(1, 3, 224, 224), "observation.state": torch.randm1, 14), # 7-DOF gripper xset } # Export to NX (X)
텐서RT FP16 최적화는 일반적으로 제트슨 하드웨어에서 파이토르치보다 2-3x 가속성을 제공합니다. 제트슨 오린에서 ACT에 대해, 이것은 50ms에서 18-22ms로 추론을 가져옵니다. DDIM DP에 대해서는 100ms에서 35-45ms로 추론합니다. FP16 양식은 두 알고리즘의 정책 품질에 무시할 수 없는 영향을 미칩니다.
두 알고리즘 을 위한 훈련 팁
# Common training configuration patterns for LeRobot
# ACT config (lerobot/configs/policy/act.yaml)
# Key hyperparameters to tune:
# chunk_size: 50-100 (longer = smoother but less reactive)
# kl_weight: 10 (sweep: 1, 5, 10, 50)
# lr: 1e-4 (reduce to 5e-5 if training is unstable)
# batch_size: 32-64
# n_epochs: 2000 (for 200 demos; scale proportionally)
# Diffusion Policy config (lerobot/configs/policy/diffusion.yaml)
# Key hyperparameters:
# n_diffusion_steps: 100 (DDPM) or 10 (DDIM at inference)
# prediction_type: "epsilon" (noise prediction; more stable than "sample")
# lr: 1e-4 with cosine schedule
# batch_size: 64-128 (DP benefits from larger batches more than ACT)
# n_epochs: 3000 (for 200 demos; DP converges slower than ACT)
# Both algorithms:
# - Use action normalization (zero mean, unit variance per dimension)
# - Use image augmentation (random crop 84-96%, color jitter)
# - Monitor validation loss every 50 epochs; save best checkpoint
# - EMA (exponential moving average) of weights at 0.9999 decay
관련 독서
- [로봇의 모방 학습: 시범 시범부터 배포까지]
- [LeRobot 프레임워크: 시작 안내서]
- [로봇 정책 일반화: 왜 로봇이 새로운 객체에서 실패하는 지]
- [로봇 학습의 확장 법칙: 우리가 2026년에 알고 있는 것]
- [로봇 학습: 시범 분석당 비용]
- [RCSV 데이터 수집 서비스]
- [RCSV 데이터 플랫폼]
RCSV 인프라에 대한 첫 번째 정책을 훈련하십시오
RCSV 플랫폼은 미리 구축된 ACT 및 전파 정책 교육 구성, 데이터셋 관리 및 평가 도구들을 제공합니다.
[플랫폼을 탐험]