물리 인공지능이란 무엇인가? 정의, 예제 및 시작 방법 (2026)
물리 AI 정의: 로봇 구현을 통해 물리 세계에서 배우고 행동하는 AI. 어떻게 작동하는지, 실제 사례 (OpenArm + Wuji Glove, Unitree G1), 그리고 레로봇과 함께 첫 번째 물리 AI 프로젝트를 시작하는 방법.
물리 AI는 로봇 신체를 통해 물리적 세계에서 작용하는 AI 시스템이라는 용어입니다. 특정 알고리즘이나 제품이 아닙니다. 그것은 로봇 팔에서 물건을 선택하고 배치하는 것을 배우는 것부터 걷고 집을 탐색하는 것을 배우는 인형 로봇까지 모든 것을 포함하는 AI 연구 및 배포의 범주입니다. 이 가이드는 물리적 인공지능이 무엇인지, 다른 인공지능과 기술적으로 어떻게 다르는지, 전체 인프라 스택이 어떻게 생겼는지, 그리고 오늘날 물리적 인공지능 시스템을 구축하기 시작할 수 있는지 설명합니다.
내용
- [물리 AI: 정의]
- [기체 인공지능이 어떻게 작동하는지: 학습 루프]
- [물리 AI 시스템의 핵심 구성요소]
- 사례: 오픈아름 + 우지 가루브, 유니트리 G1
- [Fisical AI Infrastructure에서 RCSV의 역할]
- [어떻게 시작해야 하는가: 로봇을 임대하고 50개의 디모를 수집하고 레로봇으로 훈련]
- [FAQ]
물리 인공지능: 정의
물리 AI는 로봇의 구현을 통해 물리 세계에서 인식하고, 추론하고, 행동하는 AI 시스템을 의미합니다. 정의하는 속성은 지형입니다. AI의 입력은 실제 센서 데이터 (카메라, 힘 센서, 앵코더) 이며, 그 출력은 실제 세계에서 물리적 물체의 상태를 변화시키는 실제 동동기 명령 (모터 토크, 지잡기 위치) 이다.
이것은 순전히 디지털 AI와 대조합니다.
"물리 AI"라는 용어는 2024년에 NVIDIA에 의해 대중화되었고 로봇 산업에서 빠르게 채택되었습니다. 제센 허앙은 이를 "물리 세계를 이해하고 상호작용하는 인공지능"이라고 묘사했다. 실제적으로 이 분야에서 연구하고 있는 엔지니어들은 수십 년 동안 "로봇 학습", "인체화된 인공지능", " 조작"과 같은 이름으로 근본적인 문제를 연구해왔다.
오늘날 물리적인 인공지능 시스템은 주로 세 가지 학습 패러다임에 기반하고 있습니다. ** 모방 학습** (로봇은 인간의 시범을 보고 복제함으로써 학습한다), ** 강화 학습** (로봇은 시뮬레이션 또는 실제 세계에서 시행착오를 통해 학습한다) 및 ** 시각 언어 행동 모델** (로봇은 사전 훈련된 큰 모델에서 정밀하게 조정되어 자연 언어로 교육된다). 대부분의 생산급 물리적 AI 시스템은 모방 학습을 주요 데이터 수집 방법으로 사용하고 RL는 정비 및 일반화를 위해 사용됩니다.
물리 인공지능 작동 방식: 학습 루프
물리 AI 시스템은 인간이 물리적인 기술을 어떻게 학습하는지 반영하는 회로를 실행하여 학습합니다. 관찰, 시도, 피드백을 수신, 개선. 실제적으로, 이 루프의 엔지니어링 구현은 여러 가지 잘 정의 된 단계를 포함한다.
단계 1: 텔레오퍼레이션으로 데이터 수집
AI 데이터 수집에 가장 일반적인 접근법은 텔레오퍼레이션입니다. 인간 운영자는 목표 작업을 통해 로봇을 수동적으로 제어하며 모든 센서 데이터를 기록합니다. 녹음은 관절 위치, 최종 효과 상태, 카메라 이미지 (특히 2-4 카메라) 및 선택적으로 전력 토크 센서 데이터를 캡처합니다. 그 결과, 인간이 어떻게 작업을 수행할지를 보여주는 일련의 궤도들이 보여주는 시범 데이터 세트입니다.
ALOHA 쌍방향 원격전산시스템, 우지 글래브, VR 원격전산시설은 물리적 인공지능 데이터 수집을 위한 원격전산시설의 예이다. RCSV의 DK1 데이터 수집 키트는 이 단계에 특별히 설계되어 있습니다.
2단계: 정책 훈련
시범 데이터 세트는 관찰에서 행동으로 지도를 그리는 신경 네트워크의 정책을 훈련시키는 데 사용됩니다. 현재 카메라 이미지와 로봇 상태를 고려하면, 정책은 로봇이 실행해야 할 다음 행동을 내포합니다. 훈련 목표는 행동 복제입니다. 정책의 예측된 행동이 훈련 데이터에 대한 인간의 입증된 행동에 일치하도록하십시오.
현대 물리 AI 정책은 트랜스포머 아키텍처를 사용합니다. ACT (Transformers와 액션
3단계: 배포 및 평가
훈련된 정책은 로봇에서 실시간으로 실행됩니다. 각 제어 단계 (일반적으로 20-50ms) 에서 정책은 현재 카메라 프레임과 공동 상태를 읽고 다음 동작을 계산하고 로봇의 컨트롤러에 전송합니다. 이 추론 루프는 현대 하드웨어 (RTX 4090, Apple M2 Ultra) 에서 제어 주파수보다 더 빨리 실행되어야합니다. 이것은 대부분의 정책 아키텍처에 달성됩니다.
평가는 목표 작업에 대한 정책의 성공률을 측정합니다. 일반적으로 일반화를 테스트하기 위해 다양한 객체 위치와 여러 실험을 통해 평가합니다. 50 개의 시범을 통해 잘 훈련된 모방 학습 정책은 일반적으로 분배 시나리오에서 70-90%의 성공률을 달성하고 훈련에서 볼 수없는 객체 또는 위치에서 30-60%를 달성합니다.
4단계: 정비 및 지속적인 개선
물리 AI 시스템은 데이터 플라이휠 효과로 향상됩니다. 각 배포는 새로운 데이터를 생성합니다. 장기적인 목표는 로봇이 자율적인 운영을 통해 자신의 개선 데이터를 생성하는 폐쇄적인 루프이며, 로봇의 현재 능력 이외의 경우에만 인간 개입이 가능합니다.
이러한 지속적인 개선 루프는 고전 자동화와 물리 AI를 근본적으로 다른 것으로 만듭니다: 고전 로봇은 프로그래밍으로 정의된 성능 천장을 달성합니다. 물리 AI 시스템은 원칙적으로 그러한 천장이 없습니다. 데이터와 계산의 현재 상태에서만.
물리적인 인공지능 시스템의 핵심 구성요소
로봇 하드웨어
로봇 몸
카메라 와 센서
물리 인공지능 정책은 주로 시각 기반을 둔다: 그들은 카메라 이미지를 주요 관측 입력으로 사용합니다. 전형적인 설정은 2-4 카메라를 사용합니다. 1 대 (글로벌 작업 공간 전망), 하나 또는 두 손목 장착 카메라 (최후 효과 및 객체의 근접 전망), 선택적으로 내비게이션을 위해 앞면 카메라. 카메라 시팅 및 동기화 문제: 무 동기화 시간표가 있는 멀티 카메라 설정은 미세한 작업에 대한 정책 성능을 감소시키는 시간적 불합성을 가져옵니다.
카메라 이외에도, 전력토르크 센서와 촉각 센서는 카메라가 할 수 없는 연락처 정보를 제공합니다. 접촉 부가 많은 작업 (중개, 삽입, 조립) 에 있어서, 이러한 센서는 정책 성공률을 크게 향상시킵니다. RCSV의 하드웨어 카탈로그에는 일반적인 물리적 AI 설정에 구성된 동기화 된 카메라 키트와 전력토르크 센서가 포함되어 있습니다.
텔레오퍼레이션 인터페이스
좋은 텔레오퍼레이션 데이터를 수집하려면 인간의 움직임을 로봇의 움직임을 자연스럽게 지도하는 제어 인터페이스가 필요합니다. 리더-따라자 시스템은 (ALOHA와 마찬가지로) 제어기와 물리적으로 동일한 로봇 팔을 사용합니다. 장갑 기반 시스템은 (Wuji Glove, Rokoko) 손과 손가락 움직임을 캡처합니다. VR 컨트롤러는 운영자가 실시간 카메라를 보고 로봇을 원격으로 제어하는 더 몰입적인 설정에 사용됩니다.
인터페이스는 운영자 기술만큼 데이터 품질을 결정합니다. 설계가 좋지 않은 인터페이스는 소리를 내며, 모순하지 않은 시범을 만들어내는데, 학습이 더 어려워집니다. RCSV의 운영자는 우리의 설정이 캘리브러져 있고, 운영자는 특정 인터페이스에 훈련되어 있기 때문에 깨끗한 데이터를 지속적으로 생산합니다.
데이터 저장 및 관리
로봇 시범 데이터 세트는 크다: 30fps와 100Hz의 4 카메라와 30초 동안 공동 데이터의 단일 에피소드는 해상도에 따라 약 80-200MB입니다. 1,000 개의 시범 데이터 세트는 80-200GB입니다. 지배적인 형식은 HDF5 (ALOHA 표준) 및 LeRobot 형식 (파켓 + 비디오 파일, Hugging Face 호환). 훈련 프레임워크와 호환되는 형식을 선택하는 것은 중요한 요소입니다.
RCSV의 [데이터 플랫폼] (
정책 훈련 계산
50개의 시범에 대한 전파 정책이나 ACT 정책 훈련은 하나의 RTX 3090/4090에서 26시간을 필요로 한다. 1,000개의 시범에 대한 VLA 정리가 2-4개의 A100에 824시간을 필요로 한다. 데이터 세트 크기와 정책 아키텍처 복잡성에 따라 계산 요구 사항의 규모가 크다. 대부분의 연구 프로젝트에서, 초기 실험을 위해 지역 GPU 작업 스테이션이 충분합니다. 수천 개의 시범으로 확장하거나 큰 VLA를 훈련 할 때 클라우드 훈련이 필요합니다.
시뮬레이션 환경
시뮬레이션은 대규모 정책 평가 (시뮬레이션에서 1,000 개의 평가 배포를 실행하는 것은 하드웨어보다 빠르고 안전하다), 도메인 무작위로 합성 훈련 데이터를 생성하고 물리적 보상 신호가 구체화되기 어려운 강화 학습에 사용됩니다. MuJoCo, Isaac Sim 및 Genesis는 주요 시뮬레이션 플랫폼입니다. 대부분의 연구 그룹은 반복을 위해 시뮬레이션을 사용하고 최종 검증을 위해 하드웨어를 사용합니다.
예를 들어: OpenArm + Wuji Glove 및 Unitree G1
조작 예제: 옴아름 1 + 유지 가루브
테이블탑 조작을 위한 콘크리트 물리 인공지능 설정: 최종 효과자로서 우지 손으로 OpenArm 1 6-DOF 팔, 우지 장갑을 착용한 운영자가 제어한다. 장갑은 운영자의 손과 손가락 위치를 캡처하고 로봇 컨트롤러로 무선으로 스트리밍하여, 실시간으로 로봇에 대한 운영자의 움직임을 반영합니다. 3개의 리얼센스 카메라 (상장 + 손목에 설치된 두 장) 는 작업 공간을 기록합니다.
일반적인 데이터 수집 세션에서, 한 사업자는 시간당 10-15 개의 시범을 수집합니다. 50 개의 시범은 한 장 세션 또는 두 개의 짧은 시간 동안 진행됩니다. 원료 데이터는 RCSV 플랫폼에서 LeRobot 형식으로 저장되며 즉시 퍼포시션 정책 또는 ACT 훈련에 준비됩니다. RTX 4090에서 훈련은 3-4 시간 동안 진행됩니다. 결과 정책은 동일한 GPU에서 25-50Hz에서 추론을 실행하고 배포 내 포착에서 75-85%의 성공을 달성합니다.
이것은 가설적인 파이프라인이 아닙니다. RCSV는 고객 데이터 수집 프로그램과 자체 연구를 위해 샌프란시스코 연구소에서 이러한 정확한 설정을 실행합니다. 하드웨어 설정을 시작하여 첫 번째 정책 배포까지의 끝순환은 새로운 작업에 대한 4-6 주 또는 관리 된 서비스를 사용하는 2-3 주입니다. 설정을 자세히 보기 위해 [Wuji Hand 텔레오퍼레이션 가이드]
이동 예제: 전체 신체 물리 AI를 위한 유닛 트리 G1 휴마노이드
이동 및 전체 신체 제어에 있어서, Unitree G1은 2026년에 가장 접근 가능한 인형 플랫폼 중 하나입니다. G1는 43개의 DOF, 내장 계산을 가지고 있으며 모든 관절 상태 및 센서 데이터에 대한 ROS2 주제를 게시합니다. 로코모션에 대한 물리 AI는 조작과는 다르게 작동합니다. 텔레오퍼레이션에서 모방 학습보다는 대부분의 로코모션 연구는 시뮬레이션에서 강화 학습을 사용합니다 (아이삭 랩 또는 무조코) sim-to-real 전송.
전형적인 로코모션 물리 인공지능 프로젝트: 시뮬레이션에서 보상 기능을 정의 (前速+ 안정성 페널티 + 에너지 페널티), 10~50 백만 시뮬레이션 단계 (A100 4에서 8-24 시간) 를 위해 PPO 또는 SAC와 함께 정책을 훈련하고, sim-to-real 격차를 닫기 위해 도메인 무작위로 적용하고, 실제 G1에 배포합니다. 기본 로코모션 작업 (평평지에서 걷는 것, 장애물을 넘어서) 의 성공률은 현재 잘 설계된 시미-트리-리얼 파이프라인에서 90% 이상이다.
로봇의 움직임과 팔을 동시에 사용하는 전체 신체 조작은 AI 물리 연구의 다음 경계가 집중되는 곳입니다. 도전은 복잡한 다단계 작업과 높은 DOF 행동 공간을 (43 관절) 조정하는 것입니다. 모바일 ALOHA 및 유사한 플랫폼은이 문제에 대한 현 연구 리더입니다.
물리 인공지능 인프라에 대한 RCSV의 역할
RCSV는 물리적인 인공지능 인프라 회사입니다. 우리는 연구자들과 기업들이 물리적인 인공지능 시스템을 구축하기 위해 필요한 6층 스택을 제공합니다.
| Layer | RCSV Offering | Link |
|---|---|---|
| 1. Hardware | Robot arms, grippers, humanoids, sensors — buy or lease | Store, Leasing |
| 2. 원격조작 | DK1 kit, managed operators, on-site collection | Data Services |
| 3. Data Storage & Management | LeRobot/HDF5 format, episode browser, versioning, annotation | Platform |
| 4. Policy Training | Pre-configured ACT, Diffusion Policy, OpenVLA pipelines | Platform, AI Models |
| 5. Simulation | MuJoCo and Isaac environments, sim-to-real transfer support | RL Environments |
| 6. Deploy & Evaluate | Benchmarks, real-robot evaluation, deployment tooling | Benchmarks |
대부분의 물리적 인공지능 프로젝트는 알고리즘이 잘못되었기 때문에 정지하지 않고, 인프라가 부족하거나 분해되어 있기 때문에 정지합니다. 데이터는 한 형식으로 수집되며, 훈련 프레임워크는 다른 형식으로 예상되며, 평가 설정은 배포 환경에 맞지 않으며, 하드웨어 변경 시 전체 파이프라인은 재건되어야합니다. RCSV의 목표는 이 인프라를 충분히 신뢰할 수 있게 해 연구자들과 기업들이 실제 어려운 문제에 집중할 수 있도록 하는 것입니다.
시작 방법: 로봇을 임대, 50개의 디모를 수집, 레로봇을 훈련시키
만약 여러분이 첫 번째 물리적인 인공지능 실험을 처음부터 실행하고 싶다면, 가장 빠른 믿을 수 있는 경로를 보여드리겠습니다. 이것은 파이썬 경험이 있고 GPU 작업 스테이션 (RTX 3090 또는 더 나은) 에 접근할 수 있는 한 엔지니어가 있다고 가정합니다.
1단계: 하드웨어 (1주)
임대형 오프앤아름 1 또는 바이퍼X 300는 미리 정렬되어 작동할 준비가 되어 있습니다. 처음부터 하드웨어를 구입하고 조립하는 것은 2-4주 정도가 소요됩니다. 임대형은 며칠 내에 데이터를 수집합니다. 월 임대 비용은 일반적으로 하드웨어 구매 가격의 3-5%이며, $ 5,000-10,000 팔은 $ 150-500 / 달입니다.
또한 카메라가 필요합니다. 3개의 리얼센스 D435i 카메라 (당 300달러) 는 대부분의 테이블톱 설정을 덮습니다. 작업 공간 컨텍스트에 대한 오버헤드를 설치하고, 왼쪽 손목에 한 장, 오른쪽 손목에 한 장을 설치합니다. RCSV의 카메라 마운트 디자인은 각 팔 모델에 대한 하드웨어 카탈로그 페이지에서 사용할 수 있습니다.
2 단계: 텔레오퍼레이션을 설정 (주 1-2)
리더-따라자 텔레오퍼레이션에서, 한 팔을 리더 (운동자가 물리적으로 움직인다) 와 한 팔을 추종자로 구성하십시오 (지도자의 공동 위치를 반영합니다). ACT 및 LeRobot 저장소는 일반적인 팔 플랫폼에 대한 참조 텔레오퍼레이션 스크립트를 포함합니다. 각 팔의 일련 포트가 지속적으로 리부팅을 통해 할당되도록 USB 장치 별명을 설정합니다.
데이터를 기록하기 전에 5개의 연습 에피소드를 실행하여 설정을 테스트하십시오. 리더와 추종자 사이의 지연 (<50ms) 을 찾아보십시오. 카메라 동기화 (시간표 확인) 및 관절 제한 (사업 중에 팔이 자립할 수 없는지 확인하십시오). 생산 데이터를 수집하기 전에 이러한 문제를 해결하십시오.
3단계: 50개의 시연을 수집 한다 (2주)
한 가지 특정 과제를 선택하고 50 가지의 시범을 수집하십시오. "특별"는 "붉은 잔을 뽑는 것"이 과제입니다. " 테이블에서 물건을 뽑는 것"은 아닙니다. 각각의 시범은 시작부터 전체 작업을 다루어야 합니다 (팔이 가정 위치, 정해진 영역에 있는 물체) 끝까지 (물질이 목표 위치에 배치되어, 팔이 집으로 돌아갑니다). 일관된 시작과 종료 조건은 매우 중요합니다.
간단한 작업 (일체 물체 픽 앤 플레이, 푸싱) 에 대한 작동 정책을 얻기 위해 50 개의 데모가 충분합니다. 접촉 부가 많은 작업 (페그 삽입, 뚜
단계 4: 레로봇을 이용한 훈련 (3주)
레로봇 (Hugging Face) 은 새로운 물리적 인공지능 프로젝트의 권장 훈련 프레임워크입니다. 그것은 방대한 방출 정책과 ACT를 지원하고, 좋은 문서가 있으며, RCSV의 데이터 플랫폼과 호환되는 표준 데이터 세트 형식을 사용합니다. 그것을 설치하고, 데이터 세트 경로를 구성하고 교육을 실행합니다.
pip lerobot을 설치 # 데이터 세트에 기차 전파 정책 python lerobot/scripts/train.py \ policy=diffusion \ env=your_task \ dataset_repo_id=your-username/your-dataset \ training.num_epochs=100 # 로봇 python lerobot/scripts/eval.py \ --trained-policy-name-or-path 출력/train/last_check point \ --env your_task
50 에피소드 중 100 에피소드 훈련은 RTX 4090에서 3-6 시간 소요됩니다. 훈련 손실 곡선을 모니터링하십시오. 첫 30~50 에피소드 및 고원에서는 꾸준히 감소해야합니다. 손실 고원시대가 일찍 (20 에피소드 이전에) 되면 데이터 품질 문제가 발생할 가능성이 있습니다. 자세한 구성 옵션은 [LeRobot 시작 가이드] (
5단계: 평가 하고 반복 해 보십시오 (3~4)
로봇에 20~50개의 평가 실험을 수행하고, 작업 영역 내에서 객체를 다른 위치로 배치하여 (실습 위치에서 시작하기 ±5cm 이내에) 성공률을 측정합니다. 성공률이 50% 이하인 경우, 일반적인 원인은: 너무 적은 시범, 모순적인 훈련 데이터, 카메라 캘리브레이션 추동 또는 작업 공간에서의 작업 모호함입니다. 분포 직무에서 성공률이 80% 이상이지만 분포외에서 급격히 떨어지면 더 넓은 작업 공간을 다루는 보다 다양한 교육 데이터가 필요합니다.
각 반복 주기는 더 많은 데이터를 수집하고 재훈련하고 평가하는 데 1~2일이 걸립니다. 인프라가 설치되면 어려움을 겪고 있는 물리 AI 프로젝트는 일반적으로 다른 알고리즘이 아닌 더 많은 데이터가 필요합니다. 더 복잡한 정책 구조를 시도하기 전에 더 많은 시범과 더 나은 데이터 품질에서 얻을 수 있는 이익을 모두 채취하십시오. [공동적인 모방 학습 오류 가이드]
자주 묻는 질문
물리 인공지능이란 무엇인가?
물리 AI는 로봇의 구현을 통해 물리 세계에서 배우고 행동하는 AI 시스템을 의미합니다. 디지털 데이터를 처리하는 언어 모델이나 이미지 분류기와는 달리, 물리 AI 시스템은 카메라와 센서로 실제 환경을 인식하고 실시간으로 결정을 내리고 로봇 액추에터를 통해 행동을 수행해야합니다. 정의하는 특징은 인공지능의 입력과 출력이 물리적인 현실에 기반하고 있다는 것입니다. 중력, 마찰, 접촉 힘, 그리고 실제 물체의 상태.
물리 인공지능은 전통적인 로봇과 어떻게 다르나요?
전통적인 로봇은 손으로 코드화된 운동 계획, 명시적인 인식 알고리즘, 그리고 미리 정의된 작업 순서에 의존한다. 물리 AI는 기계 학습을 이용한다. 핵심 차이점은 일반화입니다. 전통적인 로봇은 각 새로운 작업이나 객체 변동에 대해 재프로그램을 필요로 합니다. 충분한 다양한 데이터에 훈련되면 물리적 AI 시스템은 새로운 상황에 일반화 될 수 있습니다.
물리적인 인공지능 인프라 스택은 무엇일까요?
완전한 물리적 인공지능 인프라 스택은 다음과 같다: (1) 로봇 하드웨어 (팔, 지갑, 센서, 카메라); (2) 인간 시범을 수집하기 위한 원격 운영 시스템; (3) 데이터 저장 및 관리 (정상 HDF5 또는 LeRobot 형식); (4) 정책 훈련 컴퓨팅 (GPU 작업 스테이션 또는 클라우드); (5) 실제 세계 배포 전에 테스트를 위한 시뮬레이션 환경; (6) 배포 및 평가 도구. RCSV는 우리의 하드웨어 스토어, 데이터 서비스, 플랫폼, 컴퓨팅 자원을 통해 모든 6층을 제공합니다.
어떻게 물리적인 인공지능 프로젝트를 시작할까요?
작동하는 물리적 인공지능 시스템에 가장 빠른 길은 (1) 평행 지잡이 있는 로봇 팔을 임대하거나 구입하는 것
더 많은 자원
- [RCSV 스토어]
T22 ) 로봇 팔, 지갑, 센서, 그리고 인본형 - [로봇 리싱]
T23 ) 자본의 공약 없이 월간 접근 - 데이터 서비스
관리된 텔레오퍼레이션 데이터 수집 - 우지 핸드 텔레오퍼레이션 가이드
물리 인공지능에 대한 우수한 손 데이터 수집 - [LeRobot 시작 안내]
T26 ) 첫 번째 물리적인 인공지능 정책을 훈련 - [로봇 학습의 분포 정책]
T27 ) 알고리즘 깊이 잠수 - ALOHA 로봇 가이드
물리 인공지능의 두 개의 수동 텔레오퍼레이션 플랫폼 - [로봇을 위한 모방 학습]
T29 ) 완전한 방법론 안내서 - [일반적인 모방 학습 오류]
T30 ) 낮은 성공률을 고치는 방법 - RCSV에서 VLA 모델
OpenVLA, pi0, 그리고 정교 조정 서비스