Guía de instalación de hardware de teleoperación de robots bimanual
Cómo configurar un sistema de teleoperación bimanual para la recopilación de datos de dos brazos <unk> ALOHA líder-seguidor, doble realidad virtual o enfoques de exoesqueleto.
[← Guías]
Este manual abarca tres enfoques de hardware con compromisos honestos en cuanto a costo, calidad y carga del operador.
Por qué la teleoperatoria bimanual es fundamentalmente más difícil
La teleoperación de un solo brazo ya es cognitivamente exigente. Bimanual agrega tres desafíos compuestos que requieren hardware dedicado para gestionar:
** Coordinación:** Los operadores humanos coordinan naturalmente sus brazos a través de la propriocepción
** Sincronización temporal:** Ambos brazos deben actuar en un tiempo coordinado (llegar juntos, liberar simultáneamente, coincidir velocidades de aproximación). Las demostraciones sincronizadas entrenan políticas que fallan en los puntos de coordinación.
Operador único vs. dos operadores: Algunos enfoques requieren dos operadores separados (uno por brazo). Esto duplica el costo del operador, introduce variación de tiempo entre los operadores y requiere protocolos de coordinación cuidadosos.
Antes de construir una infraestructura bimanual, confirme que su tarea requiere realmente dos brazos. Muchas tareas bimanual aparentes (verter desde un lanzador, abrir una tapa de tornillo) se pueden descomponer en pasos secuenciales de un solo brazo que entrenan con éxito con un solo brazo.
Opción A: ALOHA-estilo líder-seguidor (recomendado para la calidad de los datos)
La arquitectura ALOHA combina dos brazos de líder ligeros (WidowX-250 S) con dos brazos de seguidor de tamaño completo (ViperX-300 S2).
- Componentes: 2× WidowX-250 S líderes ($ 3,100 cada uno), 2× ViperX-300 S2 seguidores ($ 4,800 cada uno), marco de montaje de líder, arnés de cableado personalizado, computadora con Ubuntu 22.04 + ROS2 Humble. Total: ~ $ 18K para armas, ~ $ 32K sistema completo.
- Por qué WidowX como líderes: La misma familia de servos Dynamixel que los seguidores de ViperX significa un mapeo cinemático transparente. El peso más ligero (0,53 kg) y el alcance más corto (250 mm) de la WidowX hace que sea cómodo para un operador sentado sostener y moverse durante sesiones de recogida de 2 horas.
- Compensación de gravedad: Los brazos de liderazgo deben tener la compensación de gravedad habilitada para que el operador mantenga un peso efectivo cercano a cero. Sin ella, la fatiga del operador causa una degradación de la calidad de los datos después de 30
45 minutos. Configurar los límites de corriente de Dynamixel a 30 50% del par nominal para el modo de compensación de gravedad. - Requisito de latencia: La latencia de líder a seguidor debe ser <10 ms para que el operador se sienta transparente. ALOHA alcanza 3
5 ms en un bus local USB Dynamixel. No enrutes a través de un ordenador en red use conexiones directas USB a Dynamixel en el ordenador líder. - ** Formatos de salida de datos:** 14-DOF conjunto de posición array (7 por brazo a 50 Hz), pila de 3 cámaras (muñeca izquierda, muñeca derecha, sobrehead), y apertura del agarre.
Opción B: Dual VR Controllers (mejor para la flexibilidad de un solo operador)
Meta Quest 3 con ambos controladores proporciona una interfaz bimanual de bajo costo de un solo operador ($ 500). El operador mapea sus posiciones físicas de manos para armar las posiciones cartesianas de los efectores finales a través de kinemática inversa en funcionamiento en la estación de trabajo.
- ** Configuración:** Meta Quest 3 ($500) + AnyTeleop o servidor IK personalizado + rastreadores montados en la muñeca (opcional, $200 cada).
- Rastreadores de extensión de muñecas: Los controladores Quest 3 rastrean la posición del agarre/trigger. Para tareas que requieren orientación del antebrazo, adjunta un seguidor secundario (VIVE Tracker 3.0, $130 cada uno) a las muñecas del operador por encima del agarre del controlador para un seguimiento más preciso de la posición de la muñeca de 6-DOF.
- ** Gestión de la latencia:** Quest 3 a la conexión WiFi: 5
15 ms. - Limitations vs. leader arms: No hay retroalimentación proprioceptive significa que los operadores no pueden sentir resistencia del brazo o estados de casi singularidad. La precisión de las coordenadas en el espacio 3D es menor sin referencia física. La calidad de los datos para tareas de precisión (insertar, threading) es medible inferior a las de los brazos líder.
- ** Coordinación bimanual:** La principal ventaja de la doble realidad virtual es que el operador utiliza su coordinación bimanual natural
el mismo control neuronal que utiliza diariamente.
Opción C: Guantes de doble exoesqueleto (mejor para bi-manual dexteroso)
Para tareas que requieren coordinación bimanual a nivel de los dedos (nudo, montaje con dos manos hábiles, manipulación de prendas), un par de guantes hápticos maneja dos manos robóticas hábiles simultáneamente.
- Hardware: SenseGlove Nova 2 par ($8,000), o HaptX G1 par ($20,000) para la mayor fidelidad.
- Costo total del sistema: SenseGlove + par Inspire + configuración de doble brazo: ~ $ 35K. HaptX + Shadow + doble brazo: $ 280K+.
- ** Sincronización:** Ambos guantes se publican a un tema ROS2 compartido a 100 Hz. Sincronizan con el sello de tiempo del hardware de un reloj NTP compartido o PTP (IEEE 1588) para un tiempo entre guantes de < 1 ms.
- Fatiga del operador: Los guantes de exoesqueleto son físicamente exigentes. La mayoría de los operadores experimentan una degradación de la calidad después de 45
60 minutos de uso continuo. Planifique sesiones de recogida con descansos de 10 minutos cada 45 minutos.
Implementación de sincronización (< 5 ms Tolerancia)
Los datos bimanual sincronizados son peores que inútiles
- Trigger de cámara de hardware: Utilice una señal de disparador de hardware (impulso GPIO desde la estación de trabajo) para activar simultáneamente todas las cámaras.
- ROS2 timestamps: Utilice ros2_common_interfaces/sensor_msgs con header.stamp fijado desde el reloj del sistema en el momento de captura, no en el momento de llegada. Configure todos los nodos para utilizar una sola fuente de tiempo (reloj del sistema a través de cronología).
- ** Sincronización líder-seguidor:** Muestre los dos estados de articulación del brazo líder y los dos estados de seguidores en el mismo cronómetro de llamada (50 Hz). No intercalar las lecturas izquierda/derecha
leer ambos autobuses en la misma llamada. - ** Verificación:** Registre una prueba de sincronización: ordena que ambos brazos se muevan simultáneamente, comprueba que los horarios de estado conjuntos para los brazos izquierdo y derecho difieren en < 5 ms. Utilice el rosbag2 y el gráfico /left_arm/joint_states.header.stamp vs /right_arm/joint_states.header.stamp.
Diseño de espacios de trabajo para tareas bimanual
- Alturas de la mesa: 75
85 cm (alturas estándar de la mesa). Las bases de los brazos deben estar a la misma altura. - Separación de brazos: 50
70 cm entre los centros de base de los brazos. Una separación más cercana causa el riesgo de colisión entre brazos; una separación más amplia reduce la superposición de los espacios de trabajo bimanual. - Espacio de trabajo de objetos: Las tareas bimanual requieren objetos centrados entre los dos brazos, a 30
50 cm de cada base, dentro de 15 30 cm de la altura de la mesa. - Cámara superior: Posición 150 cm sobre la mesa, centrada entre ambos brazos, en ángulo de 45° desde la vertical. Esto proporciona una vista completa y bimanual tanto para el seguimiento del operador como para la observación de las políticas.
- Cámara lateral: Posición a la altura de la mesa en el lado opuesto del espacio de trabajo (operador opuesto). Esto captura las capturas bimanual, las entregas de objetos y los caminos de acercamiento a menudo ocultos de la vista aérea.
Formatos de datos para episodios bimanual
Formatos de datos bimanual estándar de acuerdo con los convenios ACT/ALOHA, compatibles con la política de LeRobot y difusión:
- /observaciones/qpos: Array float [14]
6 articulaciones por brazo + 1 apertura de agarre por brazo, a 50 Hz. - /observaciones/qvel: Array float [14]
velocidades conjuntas, la misma estructura que qpos. - /observaciones/imágenes/camera_alto: RGB [480×640×3]
cámara fija aérea a 30 fps. - /observaciones/imágenes/camera_izquierda_muñeca: RGB [480×640×3]
cámara de muñeca izquierda a 30 fps. - /observaciones/imágenes/camera_right_wrist: RGB [480×640×3]
cámara de pulsera derecha a 30 fps. - /acción: Array flotante [14]
posiciones de objetivos conjuntos desde los brazos del líder (la misma estructura que qpos). - Almacenar como HDF5 con el nivel de episodio de la chunking. Utilice lerobot.scripts.convert_dataset para exportar al formato LeRobot Parquet para abrazar la cara.
BOM completo: Sistema bimanual de estilo ALOHA
| Component | Qty | Unit Cost | Subtotal | Spec Notes |
|---|---|---|---|---|
| ViperX-300 S2 follower arms | 2 | $4,800 | $9,600 | 750 mm reach, 750 g payload, Dynamixel XM540 |
| WidowX-250 S leader arms | 2 | $3,100 | $6,200 | Same servo family, gravity compensation enabled |
| U2D2 USB-to-Dynamixel adapters | 4 | $30 | $120 | One per arm; direct USB for <5 ms latency |
| Intel RealSense D405 (wrist cams) | 2 | $150 | $300 | Global shutter, 640x480 @ 90 fps, 55 mm body |
| Logitech BRIO (overhead cam) | 1 | $150 | $150 | 4K, 30 fps; mount 150 cm above table |
| Workstation PC | 1 | $3,500 | $3,500 | i7-13700, RTX 4070, 32 GB, 2 TB NVMe, Ubuntu 22.04 |
| Steel table (120x80 cm, 100 kg rated) | 1 | $500 | $500 | Bolt both followers and leaders to same surface |
| Camera mounts + cable management | 1 | $400 | $400 | Rigid articulating arms, USB 3.0 active cables |
| UPS + power distribution | 1 | $250 | $250 | CyberPower 1000 VA; prevents motor damage on power loss |
| Total | ~$21,000 | Excludes shipping; add ~$1,500 for spare grippers + parts |
Para un sistema equivalente a RCSV que utiliza [OpenArm 1]
Procedimiento de ensamblaje y de alineación mecánica
La alineación mecánica es el paso más pasado por alto en la configuración bimanual.
- ** Paso 1 -- Hoyos de montaje de la base del brazo de perforación:** Utilice una plantilla de corte CNC o una guía de perforación de precisión para garantizar que ambas planchas de base del seguidor estén en paralelo a un límite de 0,5 mm en la distancia de separación de 50-70 cm.
- ** Paso 2 - Verifique la coplanaridad:** Después de montar, coloque un recto borde de precisión a través de ambas flanges de brazos en sus posiciones de origen.
- ** Paso 3 -- Montado del brazo del líder:** Montar los líderes en el lado frente al operador a la misma altura que los seguidores. Las bases del líder deben estar a 40-50 cm de distancia (más estrechas que los seguidores) para que coincidan con el espacio natural de los brazos de un operador sentado.
- ** Paso 4 -- Montaje de la cámara de muñeca:** Atájate las cámaras D405 a cada enlace de muñeca del seguidor utilizando un soporte rígido impreso en 3D. La cámara debe estar en ángulo de 15 grados hacia la línea central del agarre. Verifique que la cámara no se ponga en contacto con ninguna superficie durante todo el rango de movimiento mediante una prueba de barrido conjunto.
- ** Paso 5 -- Enrutamiento de cables:** Ruta cables USB a través de los clipes de gestión de cables a lo largo de los enlaces de los brazos. Permite la flexión en cada articulación - demasiado apretado causa fatiga del cable dentro de los ciclos 2000. Utilice cables de extensión activos USB 3.0 (máximo 5 m) para las cámaras de muñeca.
Calibración del controlador: compensación por gravedad y límites conjuntos
La compensación gravitatoria en los brazos del líder es lo que hace posible la teleoperación bimanual para sesiones de varias horas.
- ** Configuración de compensación de gravedad:** Configure los servos Dynamixel de cada brazo líder en modo de posición basado en corriente. Configure el límite de corriente en 30-50% del par nominal. El firmware aplica corriente proporcional a la carga gravitacional en cada ángulo de unión, haciendo que el brazo se sienta casi sin peso para el operador.
- ** Configuración de límite conjunto:** Establezca límites conjuntos de software de 5 grados dentro de los límites de hardware tanto en los líderes como en los seguidores. Esto evita que el líder ordene poses que causan que el seguidor haga paradas duras.
- ** Prueba de límites del espacio de trabajo:** Antes de la primera recopilación de datos, ordene al operador barrer el espacio de trabajo accesible de ambos líderes simultáneamente. Verifique: (1) no hay colisión entre seguidores en ninguna posición del líder accesible, (2) no hay auto-colisión de seguidores, (3) no hay pincha de cable. Marque cualquier zona problemática y agregue restricciones de exclusión del software.
- Calibración de la fuerza del agarre: Establezca la fuerza de cierre del agarre en 2-5 N para objetos delicados, 8-15 N para objetos rígidos. Mapear el gatillo del agarre del líder (entrada analógica) a la apertura del agarre del seguidor de manera lineal. Prueba con objetos objetivo y verifique que el operador puede agarrar y liberar de manera confiable.
ROS2 Temas para la sincronización bimanual
La siguiente estructura de temas ROS2 asegura la grabación bimanual sincronizada. Todos los temas deben compartir la misma fuente de reloj (reloj del sistema a través de NTP cronológico):
T0 -- sensor_msgs/JointState a 50 Hz, 7 DOF (6 juntas + agarre) T1 -- sensor_msgs/JointState a 50 Hz, 7 DOF T2 -- sensor_msgs/JointState a 50 Hz, 7 DOF T3 -- sensor_msgs/JointState a 50 Hz, 7 DOF T4 -- sensor_msgs/Imagen a 30 fps, 640x480 RGB T5 -- sensor_msgs/Imagen a 30 fps, 640x480 RGB T6 -- sensor_msgs/Imagen a 30 fps, 640x480 RGB T7 -- std_msgs/String: "grabación", "idio", "pausa"
Detalle de implementación crítico: lea los cuatro temas de estado conjunto en una llamada de retroceso de tiempo único a 50 Hz. No use suscriptores separados con llamadas de retroceso independientes - esto introduce retrasos variables de intercambio de lectura de 1-20 ms que crean nerviosismo de tiempo en los datos grabados.
Medición y optimización de la latencia
| Stage | Typical | Acceptable | Optimization |
|---|---|---|---|
| Leader read (USB bus) | 1-2 ms | <3 ms | Sync read; do not poll servos individually |
| Joint mapping computation | <0.1 ms | <1 ms | Linear mapping; no IK needed for kinematically matched arms |
| Follower write (USB bus) | 1-2 ms | <3 ms | Sync write to both arms simultaneously |
| Servo response | 2-5 ms | <8 ms | Set Dynamixel return delay to 0 us |
| Total leader-to-follower | 3-5 ms | <10 ms | Transparent feel requires <10 ms |
Mide la latencia de extremo a extremo ordenando un movimiento de paso en el líder y grabando la respuesta del seguidor con una cámara de alta velocidad (240 fps). Cuenta los cuadros entre el movimiento del líder y el movimiento del seguidor.
Los modos de falla comunes y la solución de problemas
- Pérdida de sincronización izquierda-derecha: Síntomas: un brazo se retrasa de 20-50 ms Causa: un bus USB se sobrecarga (por ejemplo, la cámara de muñeca comparte el mismo controlador USB).
- Limites de unión de seguidores alcanzados durante la tarea bimanual: Síntomas: un seguidor llega a una parada dura y provoca un error mientras el otro continúa. Causa: el espacio de trabajo del líder excede el espacio alcanzable del seguidor en una configuración bimanual donde los brazos están más cerca de uno del otro.
- ** Colisión brazo a brazo:** síntomas: colisión física entre los brazos izquierdo y derecho del seguidor durante la tarea coordinada. Causa: la zona de superposición del espacio de trabajo es demasiado grande para el movimiento comandado.
- ** Desincronización del agarre:** síntomas: un agarre se abre mientras el otro se cierra durante una tarea de entrega. Causa: el mapeo del agarre del líder se invierte para un brazo.
- ** Desincronización de la imagen de la cámara:** Síntomas: la formación de política muestra acciones desalineadas entre los marcos de la cámara y los estados conjuntos. Causa: los marcos de la cámara llegan de forma asíncrona en USB. Corrección: implementa el gatillo de la imagen de hardware utilizando GPIO o utiliza el cable de sincronización de hardware RealSense entre todas las cámaras D405.
Guías relacionados
- [Cómo configurar un laboratorio de teleoperación]
T12 ) -- Guía completa de espacio, equipo y configuración de red - [Teléoperación dexterosa con guantes] ((
T13 ) -- para el nivel de los dedos de un bi-manual con guantes hapticos - Formatos de datos: HDF5, RLDS y LeRobot -- convertir episodios bimanual a formatos estándar
- [Diseño de Currículo para el Aprendizaje Robótico]
T15 ) -- estructurar las tareas bimanual de fácil a difícil - Recrutación y formación de operadores -- la creación de un equipo de operadores con capacidad bimanual
- Guía del comprador de soluciones de teleoperación -- marco de decisión de construcción frente a compra
Trabajar con el RCSV
El Centro de Robótica de Silicon Valley opera estaciones de recopilación de datos bimanual en nuestras ubicaciones de San Francisco, CA y Allston, MA.
- Servicios de recogida de datos -- recopilamos datos de demostración bimanual con operadores capacitados, entregados en formato HDF5 o LeRobot
- [Robot Leasing] ((
T19 ) -- alquilar un sistema bimanual completo de estilo ALOHA para su laboratorio, a partir de $2,500 / mes - Tienda de hardware -- compra OpenArm 1, DK1 kits bimanual, cámaras y accesorios
- [Plataforma de datos]
T21 ) -- subir, visualizar, QA, y convertir conjuntos de datos bimanual en línea - [Contacta con nosotros]
T22 ) -- programar una evaluación de viabilidad de tarea bimanual con nuestro equipo de ingeniería
Recopilación de datos bimanual en el RCSV
RCSV opera sistemas bimanual de estilo ALOHA y configuraciones de doble realidad virtual para la recopilación de datos de dos brazos.
[Vea los servicios de datos]