Recoge demostraciones de todo el cuerpo

Unidad 4 de 5 · Recopilación de datos de todo el cuerpo · ~ 4 horas

Configure su línea de grabación, configure cámaras, use k1_agent.py para transmitir y grabar episodios, y aplique filtración de calidad a su conjunto de datos.

Se aplican todos los protocolos de seguridad estándar durante la recopilación de datos. Presente detector, parada electrónica en mano, área limpia de 3 m × 3 m, rotación del operador de 30 minutos para las sesiones de realidad virtual.

Configuración de la cámara

Se recomienda un mínimo de dos cámaras para las demostraciones de manipulación de todo el cuerpo:

• Camera egocéntrica montada en la cabeza Captura el espacio de trabajo del brazo desde la perspectiva del robot.
• Camera fija externa Captura todo el cuerpo y la escena de la tarea. Montar a 23 m de distancia en un trípode a aproximadamente la altura de la cintura. 1920×1080 @ 30 fps.
• **Cámaras de muñeca (opcionales) ** añadir cámaras de muñeca izquierda y derecha para tareas de manipulación fina donde la visibilidad del efecto final es crítica.

Inicio de una sesión de grabación con k1_agent.py

python k1_agent.py \
  --robot-ip 192.168.10.102 \
  --platform-url https://fearless-backend-533466225971.us-central1.run.app \
  --record \
  --task "pick up the red block from the table" \
  --cameras head_cam,external \
  --episode-timeout 60 \
  --output-dir ./recordings/session_001/

El agente transmite la telemetría conjunta a la plataforma en tiempo real y guarda copias locales.

Formatos de conjunto de datos

Cada episodio se guarda como un directorio:

recordings/session_001/episode_000001/
  joint_states.npy   # [T, 44] — positions and velocities for 22 joints
  imu.npy            # [T, 6]  — accel + gyro
  head_pose.npy      # [T, 2]  — yaw and pitch
  head_cam.mp4       # 1280x720 @ 30 fps
  external.mp4       # 1920x1080 @ 30 fps
  timestamps.npy     # [T] unix timestamps
  metadata.json      # {task, success, duration_s, operator}

Protocolo de filtración de calidad

Después de cada sesión, revise y filtre los episodios antes de agregar a su conjunto de datos de entrenamiento:

1. Vea cada episodio en el panel de revisión de la plataforma (o con T2).
2. Marque los episodios como T3 sólo si la tarea se completó de extremo a extremo.
3. Desechar cualquier episodio en el que el robot mostrara inestabilidad, una caída cercana o el operador intervino.
4. Verifique que las flujos de cámara están completos No hay marcos caídos o oclusiones del área de tarea.
5. Objetivo de 50 episodios exitosos antes de continuar con el entrenamiento de la Unidad 5.

Protocolo de seguridad de la sesión

• La duración máxima de los episodios es de 60 segundos, los episodios cortos son más fáciles de filtrar y reducen el riesgo.
• Gira a los operadores cada 30 minutos en sesiones de realidad virtual.
• Verifique la temperatura de las articulaciones cada 20 episodios: T4. Si alguna articulación supera los 60°C, haga una pausa de 10 minutos.
• Registre todos los incidentes (caídas, casi caídas, episodios abortados) en sus notas de sesión.

Unidad 4 completa cuando...

Tiene 50 o más episodios etiquetados T5 en su conjunto de datos. Los flujos de cámaras son completos para todos los 50. Los sellos de tiempo de estado conjuntos son continuos (sin huecos). Ha revisado todos los episodios y descartado todos los que no logran la lista de verificación de calidad. Su directorio de conjunto de datos se hace copia de seguridad de al menos una ubicación adicional.

[← Regreso a la visión general del camino]