Ejecutar y mejorar su política bimanual

Unidad 6 de 6 · Despliegue y mejore · ~ 2 horas

Ahora, despliega en ambos brazos simultáneamente, evalúa rigurosamente usando un protocolo bimanual, y entienda los modos de falla únicos de la coordinación de dos brazos para que pueda mejorar sistemáticamente.

Configuración de interferencia para dos brazos

La inferencia bimanual ejecuta una única red de políticas que saca acciones para ambos brazos simultáneamente. El bucle de observación-acción se ejecuta a 50Hz la misma frecuencia que sus datos de entrenamiento con ambos brazos seguidores ejecutando sus respectivos trozos de acción en sincronización.

Fuente ~/dk1-env/bin/activar # Mantenga su mano cerca de la parada E para los primeros 3 episodios de evaluación python -m lerobot.scripts.eval \ --politics-checkpoint ~/dk1-policies/cube-handoff-v1/checkpoint_XXXXX \ --robot-path ~/dk1-config.yaml \ --robot-type dk1_bimanual \ --device cuda \ --num-eval-episodos 10 \ --record-video \ --output-dir ~/dk1-evals/v1 # Replace XXXXX con su mejor punto de control (desde la Unidad 5 de la curva de pérdida) # --record-video guarda ambas vistas como archivos mp4 separados para el análisis de fallas

Para la primera evaluación, permita que la política se ejecute sin interrupción a menos que una colisión física sea inminente. Las políticas bimanual a menudo producen movimientos inesperados en los primeros episodios 12 a medida que se adaptan al entorno real. Los episodios 310 son los datos de evaluación significativos. Observe si la política alcanza consistentemente las mismas fases de la tarea (aproximación, captura, transferencia, lugar, hogar) incluso cuando en última instancia fracasa el éxito parcial es información de diagnóstico.

Protocolo de evaluación bimanual

Utilice un protocolo estructurado. La evaluación informal "parece que está funcionando" es poco confiable para las políticas bimanual porque los éxitos parciales son mucho más comunes y pueden ocultar una entrega fundamentalmente rota.

Protocol Item	Bimanual Specification
Number of episodes	10 minimum; 20 for high-confidence results before adding more data
Cube starting position	Fixed, tape-marked position — same as your Unit 4 training setup
Lighting	Must match training conditions. Even opening a window can shift lighting enough to affect the workspace camera
What counts as full success	Cube starts on right side, ends on left side, both arms return to home pose, no human contact during episode
What counts as partial success	Correct grasp achieved but transfer fails, or transfer succeeds but placement is off-target. Log these separately.
Failure classification	Log: (A) grasp failure, (B) handoff failure — arm-to-arm transfer drops, (C) placement failure, (D) timeout. The handoff failure category (B) is unique to bimanual and most informative for improvement.
Report metric	Full success rate (episodes with all 4 phases correct). Also report partial success rate. Example: "4/10 full, 7/10 reached handoff phase".

Modos comunes de falla de los bimanual

Estos modos de falla son distintos de los fallos de un solo brazo y requieren reparaciones específicas de dos manuales:

• Armas llegan al punto de entrega sincrónicamente: Un brazo llega a la posición de entrega y espera; el otro llega tarde. La política no ha aprendido el tiempo relativo entre los brazos.
• Drop de entrega cubo cae entre los dos brazos: El fallo más común de tipo bimanual específico. El brazo receptor cierra su agarre demasiado temprano o demasiado tarde en relación con la liberación del brazo que da.
• La política converge en una estrategia de un solo brazo: La política aprende a completar la tarea con un solo brazo, ignorando las capacidades del otro brazo. Esto ocurre cuando las demostraciones de un brazo son más consistentes que las del otro.
• ** Colisión entre brazos:** Ambos brazos intentan ocupar la misma ubicación del espacio de trabajo. Este es un evento de seguridad habilitar la evitación de colisiones en el servidor de hardware DK1 (T0 en dk1-config.yaml) durante la evaluación.
• ** Desincronización de fase en el despliegue:** La política ejecuta las acciones correctas pero no en el orden temporal correcto por ejemplo, los lugares del brazo derecho antes de que el brazo izquierdo se haya transferido. Este es un artefacto de acción en el que los límites de los fragmentos no se alinean con las transiciones de fase de tarea.

El volante de datos para la mejora bimanual

El mismo bucle de mejora que funciona para las políticas de un solo brazo funciona para bimanual con una adición específica bimanual: siempre apunta al modo de falla first en la secuencia de tareas. La entrega (fase B) no se puede mejorar si el agarre (fase A) sigue siendo inconsistente.

1 de la Comisión

Evaluar

Se ejecutan 10 episodios. Clasifique cada falla por fase (A/B/C/D)

2 de la Comisión

Objetivo

Identificar la primera fase de falla. Recoger 20 30 demos que cubran específicamente esa fase

3 El

Reentrenamiento

Añadir demos dirigidos al conjunto de datos. Reentren desde cero o ajuste el mejor punto de control

4 de la Comisión

Evaluar

¿Se ha mejorado la tasa de éxito?

¿Qué es lo siguiente?

Ahora tienes un pipeline de aprendizaje bimanual en funcionamiento. La entrega de cubo es la base las mismas escalas de arquitectura para tareas significativamente más complejas:

¿Qué es esto?

Teleoperación de velocidad variable

Teleoperación adaptativa de velocidad para tareas ricas en contacto en las que la retroalimentación por fuerza cambia la velocidad óptima de movimiento.

](T2) [

Añadir las manos destrezas

Combine los brazos DK1 con la Mano Orca para obtener destreza a nivel de los dedos en tareas que requieren una manipulación precisa en la mano.

](T3) [

Escala su conjunto de datos

Técnicas para escalar la recopilación de datos bimanual en operadores, tareas y configuraciones de hardware.

](T4) [

Compartir sus resultados

Publica tu tasa de éxito, tu conjunto de datos y tu política en el foro DK1.

[T5]

Unidad 6 completa cuando...

Su DK1 completa la tarea de entrega de cubo de forma autónoma con una tasa de éxito total de al menos 6/10 en una evaluación estructurada. Ha clasificado todos los episodios de fracaso por fase (A/B/C/D) e identificado qué fase es responsable de la mayoría de los fallos. Ha visto los videos de fracaso y puede articular específicamente lo que salió mal. Usted entiende el volante de datos bimanual lo suficientemente bien como para planificar su próxima iteración de mejoras.

Construiste un sistema de aprendizaje de robots de trabajo bimanual.

Configuró una arquitectura líder/seguidor, recogió demostraciones sincronizadas de dos brazos, entrenó una política coordinada desde cero y la implementó en hardware real. La manipulación bimanual en este nivel es donde operan los laboratorios de investigación. La base que ha construido aquí escale a las tareas de ensamblaje, cocina y contacto ricos que estaban fuera de alcance antes de comenzar este camino.

[← Regreso a la visión general del camino]