Registro de demostraciones bimanual sincronizadas

Unidad 4 de 6 · Recopilación de datos · ~ 3 horas

Comprender por qué la recopilación de datos bimanual es más difícil que un solo brazo, aprender el formato de conjunto de datos bimanual LeRobot, y grabar 100 demostraciones sincronizadas limpias de la tarea de entrega de cubo.

Por qué la recopilación de datos bimanual es más difícil

En la recopilación de datos de un solo brazo, una mala demostración afecta a la trayectoria de un solo brazo. Se graban 50 demos, se desechan 5 malos y se entrenan en 45.

Este acoplamiento tiene dos implicaciones prácticas. Primero, necesitas más demostraciones 100 en lugar de 50 porque las tareas bimanual tienen mayor variación y la política necesita más ejemplos para aprender la estructura de coordinación. Segundo, necesitas una consistencia más estricta por demostración. Una demostración de un solo brazo que es un 80% de coherencia trenes razonablemente bien. Una demostración bimanual en la que un brazo es consistente y el otro varía no enseña nada útil a la política sobre el tiempo de coordinación.

El desafío de cobertura del espacio de trabajo también es mayor: necesita ambos brazos en el marco, y el punto de entrega el momento de mayor complejidad debe ser capturado de manera fiable por al menos una cámara.

Formatos de conjunto de datos bimanuales de LeRobot

La integración de DK1 con LeRobot extiende el formato estándar de un solo brazo con matrices de estado conjunto dual.

# Telas de observación de conjunto de datos bimanual por paso de tiempo: observación.junta_states.izquierda # forma: (6,) ángulos de articulación izquierda del seguidor en radianos observación.joint_states.right # forma: (6,) ángulos de articulación izquierda del seguidor en radianos observación.gripper.izquierda # forma: (1,) posición del sujetador izquierdo [0=abierto, 1=cerrado] observación.gripper.izquierda # forma: (1,) posición del sujetador derecho observación.im.izquierda # forma: (H, W, 3) espacio de trabajo superior/observación de cámara izquierda # forma: (H, W, 3) ángulo de acción de la cámara de acción principal \joint_states.izquierda # forma:

La diferencia clave con el brazo único: el espacio de acción es de 14 dimensiones (6+6 articulaciones + 2 agarres). ACT maneja esto de forma nativa se especifica la dimensión de acción en la configuración de entrenamiento y no se requieren otros cambios.

Grabación del flujo de trabajo

fuente ~/dk1-env/bin/activar # Iniciar una sesión de grabación 100 episodios para la tarea de entrega de cubo python -m lerobot.scripts.record \ --robot-path ~/dk1-config.yaml \ --robot-type dk1_bimanual \ --fps 50 \ --root ~/dk1-datasets \ --repo-id cubo-handoff-v1 \ --num-episodes 100 \ --warm-time-s 3 \ --episode-s 30 \ --reset-time-s 5 # --warm-time-s: tiempo después de presionar el registro antes de iniciar la captura (usar esta posición para devolver el cubo) \ --time cubo-s: cubo-andoff debe completarse en menos de 20 segundos; \ maximizar el tiempo entre los brazos de la casa \ 30 \ hb # re-positioning: \ hb #

Ejecutar 1015 demostraciones de práctica antes de comenzar la sesión de grabación para calentar su memoria motora para la tarea. Las primeras 510 demostraciones grabadas serán su peor que se espera. No se detenga a revisarlos durante la sesión; revisar y eliminar las malas demostraciones después de que se graben los 100 completos.

Lista de verificación de calidad de los datos bimanual

Revise cada demo después de grabar usando el visor de reproducción de LeRobot.

El

Armas sincronizadas en el punto de entrega Ambos brazos deben estar a menos de 3 cm del punto de entrega previsto simultáneamente.

El

Posición de inicio constante El cubo debe comenzar dentro de 2 cm de la misma posición para cada demo.

El

Garrap limpio ambos brazos Cada brazo debe lograr un agarre estable antes de pasar a la siguiente fase.

El

** Retorno de la postura de casa** Ambos brazos deben regresar limpios a la postura de casa al final de cada demo.

◎ El

Cobreza de la cámara del espacio de trabajo El momento de transmisión debe ser visible en el marco de la cámara del espacio de trabajo.

El

Tempo coherente La duración del episodio no debe variar más de ±5 segundos en las demostraciones.

Terminación del conjunto de datos objetivo: 100 demostraciones es el mínimo recomendado para la formación de ACT bimanual. Si después de entrenar en la Unidad 5 tu tasa de éxito es inferior al 40%, recoger otras 50 demostraciones dirigidas es lo primero que intentar.

Unidad 4 completa cuando...

Tiene 100 demostraciones grabadas en formato LeRobot en T0. Después de revisar y eliminar, al menos 90 demostraciones pasan la lista de verificación de calidad. Ambas matrices conjuntas de estado están presentes a 50Hz para cada episodio. Ambas cameras están presentes y muestran la secuencia completa de tareas, incluido el momento de entrega. Ha ejecutado T1 y confirmó que la estructura del conjunto de datos es válida.

[← Volver a la visión general del camino]