جمع البيانات

الحركة أثناء العملية عن بعد

عادةً ما يتم دمج التشغيل عن بعد للجزء العلوي من الجسم مع الحركة التي يتم التحكم فيها بواسطة لوحة الألعاب. يستخدم المشغل لوحة ألعاب لاسلكية للتحكم في سرعة المشي بينما يتحكم نظام الواقع الافتراضي في الذراعين والرأس:

# Launch combined teleop: VR for upper body + gamepad for locomotion
ros2 launch k1_teleop k1_combined_teleop.launch.py \
  vr_device:=quest3 \
  gamepad:=xbox \
  robot_ip:=192.168.10.102

هيكل الحلقة

episode_000001/
  joint_states.npy      # [T, 44] — positions, velocities, torques for 22 joints
  imu.npy               # [T, 6]  — accel (3) + gyro (3) from torso IMU
  head_pose.npy         # [T, 2]  — yaw and pitch in radians
  head_cam.mp4          # 1280x720 @ 30 fps, head-mounted egocentric
  left_cam.mp4          # 1280x720 @ 30 fps, left wrist
  right_cam.mp4         # 1280x720 @ 30 fps, right wrist
  external_cam.mp4      # 1920x1080 @ 30 fps, fixed external view
  timestamps.npy        # [T] unix timestamps for joint_states
  metadata.json         # task name, operator, duration, success label

مخطط الحالة المشتركة (22 وصلة × قيمتين لكل منهما)

# joint_states.npy shape: [timesteps, 44]
# Columns: [q0_pos, q0_vel, q1_pos, q1_vel, ..., q21_pos, q21_vel]

# Joint index mapping:
# 0-5:   Left leg (hip_pitch, hip_roll, hip_yaw, knee, ankle_pitch, ankle_roll)
# 6-11:  Right leg (same order)
# 12:    Waist (yaw)
# 13:    Head yaw
# 14:    Head pitch
# 15-21: Left arm (shoulder_pitch, shoulder_roll, shoulder_yaw,
#                   elbow_pitch, wrist_pitch, wrist_roll, wrist_yaw)
# 22-28: Right arm (same order)
# Note: total 29 joints in extended K1 config; base K1 has 22

تسجيل جلسة باستخدام k1_agent.py

# Start the platform agent (streams telemetry to RoboticsCenter)
python k1_agent.py \
  --robot-ip 192.168.10.102 \
  --platform-url https://fearless-backend-533466225971.us-central1.run.app \
  --record \
  --task "pick up red block" \
  --cameras head_cam,left_wrist,right_wrist,external

# Episodes auto-numbered and saved to ./recordings/

تحويل إلى تنسيق LeRobot

python convert_k1_to_lerobot.py \
  --input-dir ./recordings/ \
  --output-dir ./dataset/ \
  --repo-id your-username/k1-pick-place

• ✓مطلوب نصاب في جميع الأوقات — يقوم شخص مخصص بمراقبة الروبوت ويحمل نقطة التوقف الإلكترونية. لا يمكن للمشغل عن بعد مراقبة السلامة في وقت واحد.
• ✓3 م × 3 م محيط واضح - لا يوجد متفرجون ولا كابلات ولا معدات في منطقة العمليات أثناء أي جلسة مباشرة.
• ✓حد مدة الحلقة: 60 ثانية - اجعل الحلقات قصيرة. تعد الحلقات الأقصر أسهل في تصفية الجودة وتقليل المخاطر الناجمة عن التشغيل لفترة طويلة.
• ✓دوران المشغل لمدة 30 دقيقة - قم بتدوير أجهزة التشغيل عن بعد كل 30 دقيقة في جلسات الواقع الافتراضي. يؤدي الإرهاق إلى انخفاض جودة العرض التوضيحي وزيادة معدلات الخطأ.
• ✓قم بإحباط النظام وإدخاله على الفور في حالة عدم الاستقرار — إذا أظهر K1 أي تذبذب أو انحراف غير متوقع، فاضغط على التوقف الإلكتروني وأعد التشغيل من DAMP. لا تحاول الاستقرار يدويًا.
• ✓تسجيل جميع الحوادث - قم بتوثيق أي حالات سقوط أو حالات قريبة من السقوط أو حوادث مجهضة. هذه البيانات مفيدة لتصفية جودة مجموعة البيانات ولتحسين إجراءات السلامة.