איסוף נתונים

תנועה במהלך ניתוח טלפוני

הפעלה טלפונית של פלג הגוף העליון משולבת בדרך כלל עם תנועה נשלטת על ידי משחק. המפעיל משתמש ב-gamepad אלחוטי כדי לפקד על מהירות ההליכה בזמן שמערכת ה-VR שולטת בזרועות ובראש:

# Launch combined teleop: VR for upper body + gamepad for locomotion
ros2 launch k1_teleop k1_combined_teleop.launch.py \
  vr_device:=quest3 \
  gamepad:=xbox \
  robot_ip:=192.168.10.102

מבנה הפרק

episode_000001/
  joint_states.npy      # [T, 44] — positions, velocities, torques for 22 joints
  imu.npy               # [T, 6]  — accel (3) + gyro (3) from torso IMU
  head_pose.npy         # [T, 2]  — yaw and pitch in radians
  head_cam.mp4          # 1280x720 @ 30 fps, head-mounted egocentric
  left_cam.mp4          # 1280x720 @ 30 fps, left wrist
  right_cam.mp4         # 1280x720 @ 30 fps, right wrist
  external_cam.mp4      # 1920x1080 @ 30 fps, fixed external view
  timestamps.npy        # [T] unix timestamps for joint_states
  metadata.json         # task name, operator, duration, success label

סכימת מצב משותף (22 מפרקים × 2 ערכים כל אחד)

# joint_states.npy shape: [timesteps, 44]
# Columns: [q0_pos, q0_vel, q1_pos, q1_vel, ..., q21_pos, q21_vel]

# Joint index mapping:
# 0-5:   Left leg (hip_pitch, hip_roll, hip_yaw, knee, ankle_pitch, ankle_roll)
# 6-11:  Right leg (same order)
# 12:    Waist (yaw)
# 13:    Head yaw
# 14:    Head pitch
# 15-21: Left arm (shoulder_pitch, shoulder_roll, shoulder_yaw,
#                   elbow_pitch, wrist_pitch, wrist_roll, wrist_yaw)
# 22-28: Right arm (same order)
# Note: total 29 joints in extended K1 config; base K1 has 22

הקלטת הפעלה עם k1_agent.py

# Start the platform agent (streams telemetry to RoboticsCenter)
python k1_agent.py \
  --robot-ip 192.168.10.102 \
  --platform-url https://fearless-backend-533466225971.us-central1.run.app \
  --record \
  --task "pick up red block" \
  --cameras head_cam,left_wrist,right_wrist,external

# Episodes auto-numbered and saved to ./recordings/

המר לפורמט LeRobot

python convert_k1_to_lerobot.py \
  --input-dir ./recordings/ \
  --output-dir ./dataset/ \
  --repo-id your-username/k1-pick-place

• ✓ספוטר נדרש בכל עת - אדם מסור אחד עוקב אחר הרובוט ומחזיק בעצירה האלקטרונית. המפעיל הטלפוני אינו יכול לפקח בו-זמנית על הבטיחות.
• ✓3 מ' × 3 מ' היקף ברור - ללא עוברי אורח, ללא כבלים, ללא ציוד באזור התפעולי במהלך כל סשן חי.
• ✓הגבלת משך הפרק: 60 שניות - שמור פרקים קצרים. פרקים קצרים יותר קלים יותר לסינון באיכות ומפחיתים את הסיכון כתוצאה מפעולה ממושכת.
• ✓סיבוב מפעיל של 30 דקות - סובב מפעילים טלפונים כל 30 דקות בהפעלות VR. עייפות פוגעת באיכות ההדגמה ומגבירה את שיעורי השגיאות.
• ✓בטל מיד והזן DAMP על כל חוסר יציבות - אם ה-K1 מראה תנודה או סחיפה בלתי צפויים, לחץ על העצירה האלקטרונית והפעל מחדש מ-DAMP. אל תנסה להתייצב באופן ידני.
• ✓רישום את כל האירועים - לתעד כל נפילות, כמעט נפילות או אפיזודות שהופסקו. נתונים אלה שימושיים לסינון איכות הנתונים ולשיפור נהלי הבטיחות.