データ収集

遠隔操作中の移動

上半身の遠隔操作は通常、ゲームパッドで制御される移動と組み合わせられます。 オペレーターはワイヤレス ゲームパッドを使用して歩行速度を指示し、VR システムは腕と頭を制御します。

# Launch combined teleop: VR for upper body + gamepad for locomotion
ros2 launch k1_teleop k1_combined_teleop.launch.py \
  vr_device:=quest3 \
  gamepad:=xbox \
  robot_ip:=192.168.10.102

エピソードの構成

episode_000001/
  joint_states.npy      # [T, 44] — positions, velocities, torques for 22 joints
  imu.npy               # [T, 6]  — accel (3) + gyro (3) from torso IMU
  head_pose.npy         # [T, 2]  — yaw and pitch in radians
  head_cam.mp4          # 1280x720 @ 30 fps, head-mounted egocentric
  left_cam.mp4          # 1280x720 @ 30 fps, left wrist
  right_cam.mp4         # 1280x720 @ 30 fps, right wrist
  external_cam.mp4      # 1920x1080 @ 30 fps, fixed external view
  timestamps.npy        # [T] unix timestamps for joint_states
  metadata.json         # task name, operator, duration, success label

ジョイント状態スキーマ (22 ジョイント × それぞれ 2 つの値)

# joint_states.npy shape: [timesteps, 44]
# Columns: [q0_pos, q0_vel, q1_pos, q1_vel, ..., q21_pos, q21_vel]

# Joint index mapping:
# 0-5:   Left leg (hip_pitch, hip_roll, hip_yaw, knee, ankle_pitch, ankle_roll)
# 6-11:  Right leg (same order)
# 12:    Waist (yaw)
# 13:    Head yaw
# 14:    Head pitch
# 15-21: Left arm (shoulder_pitch, shoulder_roll, shoulder_yaw,
#                   elbow_pitch, wrist_pitch, wrist_roll, wrist_yaw)
# 22-28: Right arm (same order)
# Note: total 29 joints in extended K1 config; base K1 has 22

k1_agent.py を使用したセッションの記録

# Start the platform agent (streams telemetry to RoboticsCenter)
python k1_agent.py \
  --robot-ip 192.168.10.102 \
  --platform-url https://fearless-backend-533466225971.us-central1.run.app \
  --record \
  --task "pick up red block" \
  --cameras head_cam,left_wrist,right_wrist,external

# Episodes auto-numbered and saved to ./recordings/

LeRobot形式に変換する

python convert_k1_to_lerobot.py \
  --input-dir ./recordings/ \
  --output-dir ./dataset/ \
  --repo-id your-username/k1-pick-place

• ✓スポッターは常に必要です — 1 人の専任担当者がロボットを監視し、非常停止を保持します。 遠隔操作者は安全性を同時に監視することはできません。
• ✓3 m × 3 m の透明な周囲 — ライブセッション中は、運用エリアに傍観者、ケーブル、機器が存在しません。
• ✓エピソードの長さ制限: 60 秒 — エピソードは短くしてください。 エピソードが短いほど、品質のフィルタリングが容易になり、長時間の操作によるリスクが軽減されます。
• ✓30分間のオペレーターローテーション — VR セッションで遠隔オペレーターを 30 分ごとに交代させます。 疲労によりデモンストレーションの品質が低下し、エラー率が増加します。
• ✓不安定な場合は直ちに中止して DAMP に入ります — K1 が予期せぬ発振やドリフトを示した場合は、非常停止を押して DAMP から再起動してください。 手動で安定させようとしないでください。
• ✓すべてのインシデントを記録する — 転倒、転倒寸前、または中止されたエピソードを記録します。 このデータは、データセットの品質フィルタリングや安全手順の改善に役立ちます。