Contactar Ventas
Volver a DK1 Path

Antes de empezar: orientación bimanual

Orientación para el camino de aprendizaje bimanual DK1. Comprender la arquitectura líder/seguidores, verificar su hardware y software y establecer expectativas de tiempo antes de comenzar.

Unidad 0 de 6 · Orientación · ~30 min

Esta unidad es una orientación pura. Comprende el concepto de líder / seguidor, revisa cada lista de verificación y establezca sus expectativas de tiempo. No hay nada que instalar o configurar aquí que comience en la Unidad 1.

Si completas el camino OpenArm: la mayoría de los patrones de SDK, los conceptos de ROS 2 y los flujos de trabajo de LeRobot son los mismos. Lo nuevo es la arquitectura líder/seguidor, la configuración sincronizada de dos brazos y los requisitos de datos más altos para las tareas bimanual. Esta unidad cubre exactamente esas diferencias.

¿Por qué dos brazos?

Un solo brazo robótico es poderoso para tareas en las que un factor final es suficiente: pick-and-place, clasificación, inspección. Pero una gran clase de tareas de manipulación en el mundo real requieren fundamentalmente dos manos de la misma manera que los humanos usan ambas manos como una cuestión de por supuesto. Plegando tela, despejando el embalaje, pasando un objeto de una mano a la otra en medio de la tarea.

Estas tareas no son sólo "más difíciles" con un brazo son arquitectónicamente incompatibles con una configuración de un brazo. La arquitectura bimanual del DK1 le da acceso a toda esta clase de tareas. Y debido a que ambos brazos operan en un espacio de trabajo compartido con estados conjuntos sincronizados, la configuración de aprendizaje de imitación líder / seguidor teleoperación alimentando en una sola política es más limpia de lo que podría esperar.

El concepto de líder/seguidor

El DK1 utiliza una arquitectura de líder/seguidor para la teleoperación.

Líder del brazo

Lo que se mueve

Un brazo de control ligero y retroconducible que se manipula físicamente con sus manos. No tiene capacidad de carga útil.

Armas de seguidores (×2)

Lo que ejecuta la tarea

Los dos brazos DK1 de plena fuerza que reflejan los ángulos conjuntos del líder en tiempo real. Interactúan con el espacio de trabajo y los objetos reales. Estos son los brazos que ejecutan la política entrenada durante el despliegue.

Cuando se teleopera, se mueve físicamente el brazo del líder. Los brazos del seguidor replican ese movimiento en milisegundos. Cuando se registran datos, la articulación del brazo del seguidor dice no el del líder son lo que se salva. Cuando se entrena una política, se está entrenando los brazos del seguidor para reproducir los patrones de movimiento capturados por su líder. El brazo del seguidor cae completamente en el momento de la inferencia.

Esta arquitectura es más natural que la teleoperación del teclado o el controlador VR porque el mapeo de movimiento es directo: mover el líder de 30° de mapas a 30° en el seguidor.

Lista de verificación de hardware

Verifique cada elemento de abajo antes de comenzar la Unidad 1.

  • ** DK1 brazo seguidor × 2** ambos brazos del kit. Verifique que ambos llegaron sin daños y todas las articulaciones se mueven libremente cuando no están alimentadas.
  • ** DK1 controller de liderazgo brazo** el controller de teleoperatorio más ligero, conducible hacia atrás. Debe sentirse fácil de mover a mano.
  • ** Suministros de energía ×2** uno por brazo de seguidor. Incluido en el kit. Verifique si la especificación de voltaje coincide con la salida de la pared (ver etiqueta sobre el suministro).
  • ** Cables USB-C ×3** uno por brazo (ambos seguidores + líder) para la conexión inicial. Cables más cortos (0,51m) son más fáciles de gestionar en un espacio de trabajo bimanual.
  • Cámaras ×2 una cámara de espacio de trabajo de gran angular (de arriba hacia abajo o hacia adelante) y una cámara de muñeca en el brazo de seguimiento principal. Una tercera cámara en el brazo secundario es opcional, pero se recomienda para tareas ricas en contacto.
  • Ardura de montaje El DK1 requiere montaje fijo para ambos brazos de seguimiento. El kit incluye placas de venda baja. Se requiere una mesa rígida o banco de laboratorio una mesa plegable introducirá vibraciones que degradan sus datos.
  • ** Espacio de trabajo bimanual** Al menos 80 cm × 60 cm de superficie plana transparente entre los dos brazos. Marque los límites de alcance del brazo con cinta durante la unidad 1 para definir el envoltorio de operación seguro.

No hay hardware físico. Puede completar la mayor parte de este camino en la simulación bimanual MuJoCo. Ver la guía de configuración de simulación DK1 antes de la Unidad 1.

Lista de verificación de software

  • Ubuntu 22.04 o 24.04 el mismo requisito que OpenArm. Una máquina virtual funciona para sim; el hardware real requiere Linux nativo para el rendimiento de bus CAN en tiempo real.
  • Python 3.10 o superior ejecutar T0 para comprobar.
  • ROS 2 Humble o Jazzy si completó el camino OpenArm, esto ya está instalado. ejecutar T1 para verificar.
  • **DK1 SDK (separado de OpenArm SDK) ** instalación cubierta en la Unidad 2. No se instale ahora la configuración de emparejamiento debe ocurrir después de que ambos brazos estén físicamente montados.
  • LeRobot si lo tienes instalado desde el camino OpenArm, funcionará aquí. El formato del conjunto de datos bimanual utiliza la misma estructura con dos matrices de estado conjunto.
  • ~25 GB de espacio en disco libre Los conjuntos de datos bimanual son más grandes que los conjuntos de datos de un solo brazo (dos flujos conjuntos de estado, dos canales de cámara).
  • GPU con 10 GB + VRAM Recomendado. El entrenamiento Bimanual ACT en CPU es factible pero tardará 812h para una buena carrera de entrenamiento.

Estimaciones de tiempo

La instalación bimanual tarda más tiempo que la instalación de un solo brazo factor en tiempo para el montaje, alineación y verificación de sincronización para cada unidad.

Unit What You Do Time
0 This orientation 30 min
1 Mount and wire two arms, cameras ~3 h
2 SDK, leader/follower pairing, sync test ~2 h
3 First bimanual teleoperation session ~2 h
4 Record 100 synchronized demos ~3 h
5 Train ACT bimanual policy ~4 h
6 Deploy, evaluate, improve ~2 h
Total ~16 h 30 min

Planar 45 sesiones. Las unidades 1 y 2 se combinan naturalmente (configuración de hardware + software en una sesión). Las unidades 3 y 4 se realizan mejor juntas una vez que se ha fluido con la teleoperatoria bimanual.

Cómo obtener ayuda

  1. Compruebe el cheque de finalización en la parte inferior de cualquier unidad que esté en define exactamente lo que "hacido" se ve.
  2. Publicación en el DK1 foro hilo incluye su versión de Ubuntu, versión de SDK, mensaje de error exacto, y en qué unidad está.
  3. Consulte la sección ** solución de problemas** en la Unidad 2 que cubre los errores de sincronización más comunes de líder / seguidor.
  4. Únete a la RCSV Discord en #dk1-path respuesta más rápida durante las horas diurnas de PST.

Alternativa de simulación

El camino DK1 admite una simulación bimanual MuJoCo que replica la arquitectura líder / seguidor, estados conjuntos sincronizados y las entradas de la cámara. Puede completar las unidades 0 a 5 enteramente en simulación. La unidad 6 (implementación real de hardware) requiere brazos físicos. La guía de configuración de simulación se encuentra en hardware/dk1/simulación.

Orientación completa Cuando...

Usted ha revisado cada elemento en las listas de verificación de hardware y software, entiende el concepto de líder / seguidor y puede explicarlo en una frase, sabe dónde pedir ayuda, y ha reservado su primera sesión de 3 horas para la configuración de hardware de la Unidad 1.

[← Volver a la visión general del camino]