全身 の デモ を 集め

5つ目の4つの単位 · 全体データ収集 · ~4時間

記録パイプラインを設定し,カメラを設定し,k1_agent.py を使用してエピソードをストリーミングし,記録し,データセットに質の高いフィルタリングを適用します. ターゲット: 50 件高品質の全体演示エピソード.

データ収集中にすべての標準安全プロトコルが適用されます. スポッターが現れて,電子ストップが手に付いている,3m ×3mのクリアエリア,VRセッションでは30分間の操作者の回転が可能です.

カメラの設定

身体操作の示範には,少なくとも2台のカメラが推奨される.

機械の視点から腕の作業空間を捕捉する.K1の頭の上にマウントする. Intel RealSenseまたはUSBウェブカメラは1280×720 @ 30 fpsで.
外部固定カメラ 全身とタスクシーンを撮影する. 腰の高さで23m離れた立足台に登る. 1920×1080 @ 30 fps.
**手首カメラ (オプション) ** 端効果の可視性が重要な微妙な操作作業のために左と右腕カメラを追加します.

k1_agent.py で録音セッションを開始する

python k1_agent.py \
  --robot-ip 192.168.10.102 \
  --platform-url https://fearless-backend-533466225971.us-central1.run.app \
  --record \
  --task "pick up the red block from the table" \
  --cameras head_cam,external \
  --episode-timeout 60 \
  --output-dir ./recordings/session_001/

代理は,リアルタイムでコラボテレメトリーをプラットフォームにストリームし,ローカルコピーを保存します.各エピソードを起動・停止するにはキーボードショートカット (デフォルト:スペース) を使用します.

データセットの形式

各エピソードはディレクトリとして保存されます.

recordings/session_001/episode_000001/
  joint_states.npy   # [T, 44] — positions and velocities for 22 joints
  imu.npy            # [T, 6]  — accel + gyro
  head_pose.npy      # [T, 2]  — yaw and pitch
  head_cam.mp4       # 1280x720 @ 30 fps
  external.mp4       # 1920x1080 @ 30 fps
  timestamps.npy     # [T] unix timestamps
  metadata.json      # {task, success, duration_s, operator}

品質フィルタリングプロトコル

訓練データセットに追加する前に,毎セッションの後,エピソードをレビューし,フィルタリングしてください.

プラットフォームレビューパネルで各エピソードを視聴する (または T2)
作業が端から端まで完了した場合にのみ,エピソードを T3と記入する.
ロボットが不安定で近く落ちたり操作者が介入した場合の出来事を捨ててください
撮影カメラの流れが完了したかを確認する作業領域のフレームや遮蔽が落ちていない
ユニット5の訓練に進む前に 50回の成功を目標に

会議の安全議定書

60秒間のエピソードが最長です短編はフィルタリングが容易でリスクは低くなる
VRセッションでは 30分ごとに操作者を回します
T4: 20 回ごとに関節温度をチェックします. 関節が60°Cを超えると,10 分間休憩してください.
セッションのメモにすべての事件 (落,近落,中止されたエピソード) を記録する.

ユニット4 完成する...

ビデオの流れは50個も完全です. 共同状態のタイムスタンプは連続です (隙間はありません). すべてのエピソードをレビューし,品質チェックリストに失敗したエピソードを排除しました. データセットディレクトリは少なくとも1つの追加位置にバックアップされています.

[← 経路概要に戻る]

OpenArm

Browse the Store

Data Marketplace

Get Started with Physical AI

Wuji Teleop Glove

Unitree Go2 — Setup & SDK

全身のデモを集め