데이터 수집

원격 조작 중 이동

상체 원격 조작은 일반적으로 게임 패드로 제어되는 이동과 결합됩니다. 운영자는 무선 게임패드를 사용하여 걷는 속도를 명령하고 VR 시스템은 팔과 머리를 제어합니다.

# Launch combined teleop: VR for upper body + gamepad for locomotion
ros2 launch k1_teleop k1_combined_teleop.launch.py \
  vr_device:=quest3 \
  gamepad:=xbox \
  robot_ip:=192.168.10.102

에피소드 구조

episode_000001/
  joint_states.npy      # [T, 44] — positions, velocities, torques for 22 joints
  imu.npy               # [T, 6]  — accel (3) + gyro (3) from torso IMU
  head_pose.npy         # [T, 2]  — yaw and pitch in radians
  head_cam.mp4          # 1280x720 @ 30 fps, head-mounted egocentric
  left_cam.mp4          # 1280x720 @ 30 fps, left wrist
  right_cam.mp4         # 1280x720 @ 30 fps, right wrist
  external_cam.mp4      # 1920x1080 @ 30 fps, fixed external view
  timestamps.npy        # [T] unix timestamps for joint_states
  metadata.json         # task name, operator, duration, success label

조인트 상태 스키마(22개 조인트 × 각각 2개 값)

# joint_states.npy shape: [timesteps, 44]
# Columns: [q0_pos, q0_vel, q1_pos, q1_vel, ..., q21_pos, q21_vel]

# Joint index mapping:
# 0-5:   Left leg (hip_pitch, hip_roll, hip_yaw, knee, ankle_pitch, ankle_roll)
# 6-11:  Right leg (same order)
# 12:    Waist (yaw)
# 13:    Head yaw
# 14:    Head pitch
# 15-21: Left arm (shoulder_pitch, shoulder_roll, shoulder_yaw,
#                   elbow_pitch, wrist_pitch, wrist_roll, wrist_yaw)
# 22-28: Right arm (same order)
# Note: total 29 joints in extended K1 config; base K1 has 22

k1_agent.py로 세션 녹화

# Start the platform agent (streams telemetry to RoboticsCenter)
python k1_agent.py \
  --robot-ip 192.168.10.102 \
  --platform-url https://fearless-backend-533466225971.us-central1.run.app \
  --record \
  --task "pick up red block" \
  --cameras head_cam,left_wrist,right_wrist,external

# Episodes auto-numbered and saved to ./recordings/

LeRobot 형식으로 변환

python convert_k1_to_lerobot.py \
  --input-dir ./recordings/ \
  --output-dir ./dataset/ \
  --repo-id your-username/k1-pick-place

• ✓항상 감시인이 필요합니다. — 전담 직원 한 명이 로봇을 모니터링하고 비상 정지를 유지합니다. 원격 조작자는 동시에 안전을 모니터링할 수 없습니다.
• ✓3m × 3m의 명확한 경계 — 라이브 세션 중에는 작업 영역에 방관자, 케이블, 장비가 없습니다.
• ✓에피소드 길이 제한: 60초 — 에피소드를 짧게 유지하세요. 에피소드가 짧을수록 품질 필터링이 더 쉽고 장기간 작동으로 인한 위험이 줄어듭니다.
• ✓30분 교환원 순환 — VR 세션에서 30분마다 원격 조작자를 교대합니다. 피로는 데모 품질을 저하시키고 오류율을 높입니다.
• ✓불안정한 경우 즉시 중단하고 DAMP로 들어갑니다. — K1에 예상치 못한 진동이나 드리프트가 나타나면 비상 정지를 누르고 DAMP에서 다시 시작하십시오. 수동으로 안정화하려고 하지 마십시오.
• ✓모든 사건 기록 — 추락, 추락 직전 또는 중단된 에피소드를 기록합니다. 이 데이터는 데이터세트 품질 필터링과 안전 절차 개선에 유용합니다.