Por qué la manipulación bimanual es la próxima frontera en el aprendizaje de robots
Dos manos desbloquean tareas que uno no puede: lavandería, cableado, cocina, montaje. Un análisis del profesional de ALOHA, Mobile ALOHA, escasez de datos y cuellos de botella de hardware.
La manipulación de un solo brazo ha alcanzado un óptimo local. Las tareas que importan a continuación
Publicado 2026-04-10 por el Centro de Investigación de Robotica del Valle del Silicio.
TL;DR. La manipulación bimanual no es una versión más difícil de un solo brazo. Es cualitativamente diferente. Un conjunto grande y creciente de tareas económicamente importantes son físicamente imposibles para un robot de un solo brazo: la mayoría de la lavandería, la mayoría de la cocina, la mayoría del trabajo por cable, la mayoría de las tareas de cuidado de niños y ancianos y la mayoría de la montaje industrial que todavía realizan los humanos. ALOHA y Mobile ALOHA hicieron accesible el patrón de hardware. Las limitaciones vinculantes ahora son (1) la escasez de datos de demostración bimanual de alta calidad, (2) la inmadurez de las políticas que modelan explícitamente la coordinación de dos brazos, y (3) el hardware que todavía trata el bimanual como dos brazos unificados.
1. La manipulación de un solo brazo alcanzó un óptimo local
La primera ola de aprendizaje de robots modernos
El problema es que el universo de tareas económicamente interesantes que se ajustan a un molde de un solo brazo es más pequeño de lo que parecía. Cada vez que ponemos un robot de un solo brazo frente a una lista de tareas realista en casa o en el lugar de trabajo, descubrimos que la mayoría de las tareas requieren dos manos en los primeros diez minutos.
2. Las tareas que requieren dos manos
La categoría que la mayoría de la gente piensa primero es la ropa. Doblar una camisa necesita al menos una mano para sostener un punto de referencia mientras que la otra manipula el tejido.
La cocina es similar. Pelar, mezclar mientras sostiene, verter de un tazón sostenido en una mano, abrir un frasco, manejar un cuchillo y una mano estabilizadora en una tabla de corte
La gestión de cables y el montaje electrónico
Las tareas de cuidado, como trasladar a una persona de una cama a una silla, cambiar de ropa de cama mientras la persona está en la cama o vestir a alguien son agresivamente bimanual. Este es el espacio de aplicación donde la tesis sobre escasez de mano de obra de la industria humanoide cumple con las limitaciones reales de la capacidad física.
Por último, una gran parte de las tareas domésticas
La revolución silenciosa de ALOHA
La plataforma ALOHA, publicada en Stanford en 2023, hizo en silencio para bimanual lo que la impresión 3D de bajo costo hizo para el piratería de hardware: eliminó la barrera de entrada. Dos brazos de 7 DOF de bajo costo, una plataforma de teleoperatoria líder-seguidor, un conjunto de interfaces ROS limpias y una receta reproducible que un laboratorio de dos personas podría construir en un cuarto. Antes de ALOHA, la investigación de manipulación bimanual requería ya sea un Baxter (fin de vida), un par de Pandas Franka (~ $ 60K + todo en), o una construcción personalizada (~ 6 meses de ingeniería).
Pasamos por el origen, montaje y primer flujo de entrenamiento en la guía de robots ALOHA y los detalles de configuración en la guía de configuración de ALOHA móvil. Las decisiones de diseño de hardware que hicieron esto posible valen la pena estudiar en sus propios términos: compensación pasiva de gravedad, brazos cinemáticamente similares del líder / seguidor, y una elección deliberada para mantener el sistema de baja precisión pero baja latencia.
El trabajo posterior de Mobile ALOHA extendió la misma receta a una base móvil, demostrando que el patrón de teleoperación bimanual se generaliza más allá de la mesa. Nuestro [desglose de costos de Mobile ALOHA]
¿Por qué el bimanual no es sólo "dos brazos únicos"
Un modo común de fracaso en el trabajo inicial de las políticas bimanual era entrenar dos políticas independientes de un solo brazo y dejarlas funcionar en paralelo.
- Coplamiento de espacio de acción. En muchas tareas bimanual, la acción correcta de la mano derecha depende de la postura actual de la mano izquierda, estado de contacto y velocidad.
- Alineamiento temporal. Las tareas bimanual tienen ventanas de segundo grado en las que ambos brazos deben actuar juntos.
- El contacto y el intercambio de fuerzas. Cuando dos manos están sosteniendo el mismo objeto, ninguna puede ser controlada por posición de forma independiente sin pelear. Las políticas deben razonar sobre el contacto compartido y a menudo sobre la distribución de la fuerza. Nuestra explicador de fuerzas de contacto cubre el lado teórico del control.
- Coplaje de observación. La mejor vista de la cámara para la mano derecha es a menudo la que incluye la mano izquierda y el objeto compartido. Las cámaras de muñeca por sí solas no lo cortan. Consulte nuestra guía de configuración de la cámara)
El problema de los datos es más grande de lo que parece
El ecosistema de datos de un solo brazo tiene Open X-Embodiment, DROID, BridgeData V2 y una larga cola de conjuntos de datos públicos. El ecosistema de datos bimanual tiene lanzamientos al estilo ALOHA y un puñado de conjuntos de datos corporativos que en su mayoría no son públicos.
La teleoperación bimanual es más difícil de escalar. Un operador único necesita ambas manos libres para controlar el robot, lo que excluye las interfaces de clic y arrastre que escalan la recopilación de datos de un solo brazo. Los enfoques basados en la realidad virtual resuelven la ergonomía del lado del operador, pero introducen sus propios problemas de calibración y latencia; comparamos las opciones prácticas en las empresas de teleoperatoria de la realidad virtual.
El resultado es que la recopilación de datos bimanual es aproximadamente 2-3 veces más cara por hora que la de un solo brazo, y la calidad de la demostración por episodio es más variable. La implicación para el campo es clara: si queremos un modelo de fundación bimanual comparable a OpenVLA, alguien tendrá que financiar un esfuerzo de recopilación de datos bimanual de un orden de magnitud mayor que cualquier otro público que existe hoy en día.
6. Cuellos de botella de hardware
El hardware bimanual tiene tres problemas crónicos. El primero es que los dos brazos casi siempre necesitan compartir un espacio de trabajo, y la evitación de colisiones entre ellos todavía se maneja de una manera ad hoc en lugar de como un problema de control de primera clase. El segundo es que la mayoría de las plataformas comerciales "bimanual" son realmente dos brazos individuales atados a una base compartida, sin kinemáticas torsa compartidas o cámara de pecho compartida. Esto se ve bien en una hoja de especificaciones, pero es enormemente importante para las tareas reales: alcanzar a través del cuerpo, acalmar un objeto entre ambas manos, y las entregas todos se benefician de un torso con cierto grado de libertad.
La tercera y menos discutida es el efecto final. La investigación de un solo brazo generalmente se escapa con un simple agarre paralelo de dos dedos. Las tareas bimanual normalmente necesitan más que eso en al menos un lado: una taza de succión para el manejo de hojas, una mano más dextrosa para el trabajo por cable, un agarre suave para la tela. La pregunta del sujetador es dónde está sucediendo la mejor investigación hábil
La conexión humanoide
Cada plataforma humanoide seria es una plataforma de manipulación bimanual primero y una plataforma de locomoción segundo, al menos en términos de dónde vive el valor económico. Unitree G1, Booster T1, Fourier GR-2, Figura 02, Apptronik Apollo, 1X Neo
8. Políticas que modelan explícitamente la estructura bimanual
La frontera de investigación en el lado de la política se está moviendo hacia arquitecturas que modelen la coordinación bimanual como una preocupación de primera clase en lugar de una propiedad emergente. La dirección más interesante son las políticas que razonan sobre el objeto compartido o el contacto como una variable intermediaria explícita: en lugar de predecir "qué debería hacer el brazo izquierdo" y "qué debería hacer el brazo derecho", predecir "qué debería pasar con el objeto" y luego descomponerse en acciones por brazo.
Este es el área en la que esperamos el mayor progreso de la investigación durante el próximo año, y es un área en la que los VLA abiertos siguen alcanzando los mejores esfuerzos cerrados.
Consejos prácticos para los laboratorios que opten por invertir
- ** Comience con un buen patrón de hardware conocido.** Ya sea una plataforma de estilo ALOHA o una plataforma comercial bimanual. No intente construir una desde cero; el contenido de la investigación está en las políticas y datos, no en la cinemática. Véase las opciones de hardware en la tienda RCSV.
- Invertir en la ergonomía de la teleoperatración temprano. La recopilación de datos bimanual es físicamente más difícil para los operadores que para los operadores de un solo brazo. La fatiga de los operadores se traduce directamente en la calidad de los datos.
- Construye la tubería de datos antes de construir el modelo. La calidad de su conjunto de datos bimanual limitará su límite más fuerte que la arquitectura de la política.
- Elegir tareas con un valor de dos manos obvio. La lavandería, el trabajo por cable y la preparación de alimentos hacen que la historia bimanual sea concreta para las partes interesadas.
- ** Presupuesto realista.** Los costes de investigación bimanual son aproximadamente 2 veces mayores en hardware y operadores, al menos durante el primer año.
- Considere el arrendamiento. Si está realizando una investigación bimanual para una empresa, arrendamiento RCSV le permite correr durante un cuarto sin una decisión de captcha, y nuestros tutoriales recorren la primera sesión de recopilación de datos.
10. Nota de cierre
Hay un patrón común en la robótica donde el campo pasa una década optimizando lo incorrecto porque es medible, y luego el progreso interesante ocurre una vez que la gente comienza a medir lo correcto. Pasamos una década optimizando para los puntos de referencia de un solo brazo. La próxima década se medirá en tareas bimanual que antes eran imposibles y ahora son rutinarias. ALOHA abrió la puerta; los datos y las políticas decidirán qué tan rápido vamos a atravesarla.
Si estás construyendo en este espacio, nuestras [guías para compradores]
** Lectura relacionada:** Configuración de ALOHA móvil, Guía de ALOHA, Calidad de datos de teleoperatorio, y Cheque de realidad de la cadena de suministro humanoide.