Teleoperatorio dexteroso basado en guantes: selección y configuración de hardware
Cómo usar guantes hápticos para la teleoperatoria de mano robótica de destreza <unk> comparación de hardware, calibración, análisis de latencia y configuración de recopilación de datos.
[← Guías]
Guía de ingeniería práctica para la teleoperación basada en guantes
¿Por qué usar guantes?
La mayoría de las tareas de manipulación
Las tareas que se benefician de los guantes: ** reorientación en la mano** (rollar un tornillo, girar una tarjeta), ** agarre de pincha a objetos irregulares** (papel arrugado, pliegues de tela), ** manipulación coordinada con varios dedos** (amargar un nudo, endurecer una aguja) y ** adaptación de agarre de manera dexterosa** al cumplimiento de los objetos. Si su tarea requiere menos de 3 dedos para trabajar, una mandíbula paralela probablemente superará a una mano hábil con guantes en calidad de datos por hora.
La línea de teleoperación de guantes completa agrega complejidad en todos los niveles: calibración por operador, mayor latencia que la teleoperación de brazo, más modos de falla, mayor fatiga del operador y un costo de hardware significativamente mayor.
Comparación de los guantes de hardware
| Glove | Price/Hand | DOF Tracked | Force Feedback | Haptic Type | SDK | Weight | Best For |
|---|---|---|---|---|---|---|---|
| SenseGlove Nova 2 | $4,000 | 20 (5 finger flexion + abduction) | 5-DOF cable resistance | Vibrotactile + force | Python, ROS | 300 g | Research, imitation learning, best value |
| HaptX G1 | $10,000 | 20 | Yes (microfluidic) | Fluid pressure per fingertip | ROS, Unity | 500 g | Highest fidelity haptics |
| Inspire Glove | $3,000 | 15 (flexion only) | No | None | Python (custom) | 200 g | Budget, paired with Inspire RH56 |
| Dexmo (Dextarobotics) | $6,000 | 22 (11-DOF per hand) | Yes (5 DOF) | Mechanical brake | Unity, Python | 350 g | Full-hand exoskeleton feedback |
| ROKOKO Smartglove Pro | $500 | 18 (position only) | No | None | ROKOKO SDK, Live Link | 80 g | Motion capture only, not manipulation |
| OpenXR DIY | $200–$500 | Variable | No | Optional vibration | OpenXR | Variable | Experimental, low cost |
El SenseGlove Nova 2 es la opción recomendada para la mayoría de las investigaciones de aprendizaje de imitación. Su retroalimentación de resistencia a la fuerza permite a los operadores sentir cuando la mano del robot está en contacto, mejorando la calidad de agarre y reduciendo las fallas de "mano flotante" cuando la mano se cierra sin involucrar al objeto. El SDK Python con envoltura ROS2 tiene el mayor soporte comunitario y es compatible con la mayoría de las interfaces de mano de robot.
El HaptX G1** proporciona la táctica más realista a través de actuadores microfluídicos que crean presión de la piel correspondiente a la geometría de contacto. Esta fidelidad es valiosa para la manipulación extremadamente delicada (componentes electrónicos, muestras biológicas), pero el precio de 10K / mano y el peso de 500 g limitan su uso práctico.
Compatibilidad de la mano del robot
| Robot Hand | Price | DOF Actuated | Carga Útil | Glove Compatible | Notes |
|---|---|---|---|---|---|
| Shadow Mano Diestra | $110,000 | 20 | 0.5 kg | SenseGlove, HaptX | Most capable, most expensive; compressed air |
| Inspire RH56 DFX | $8,000 | 6 (5 finger + thumb) | 2 kg | SenseGlove, Inspire Glove | Best price-performance; brushless motors |
| Unitree Dex3-1 | $5,000 | 7 (3 fingers, 2-DOF each) | 1.5 kg | SenseGlove | Unitree G1/H1 compatible; compact |
| Leap Hand (v2) | $2,000 | 16 | 0.3 kg | SenseGlove (community) | Open-source, 3D-printable; growing community |
| SAKE EZGripper | $800 | 1 (underactuated) | 0.9 kg | No (gripper, not hand) | Not for glove use |
El Inspire RH56 DFX es el camino más rentable para la manipulación hábil a $8K. Seis DOF actuados (flexión individual del dedo más oposición del pulgar) cubren la mayoría de las tareas de manipulación doméstica.
La Leap Hand de $2K está ganando impulso en la comunidad de investigación debido a su diseño de código abierto y su controlador de leaphand.
Procedimiento de calibración
Cada operador requiere una calibración individual. Los guantes no se ajustan a todas las manos de manera idéntica, y la longitud del dedo, la posición del nudillo y los ángulos máximos de extensión varían significativamente entre los operadores.
- ** Paso 1
Mapeo de geometría de mano:** Medir las longitudes de los segmentos de dedos de cada operador (falange proximal, medial, distal) con calibres. Ingrese al modelo de mano del SDK de guantes. SenseGlove proporciona un asistente de calibración; permita 10 minutos por operador. - ** Paso 2
Rango de calibración de movimiento:** Registrar ángulos máximos y mínimos de flexión para cada dedo haciendo que el operador esté abierto completamente (0°) y cerrado completamente (~90° MCP, ~100° PIP). - ** Paso 3
Calibración del umbral de fuerza:** Con la retroalimentación de fuerza habilitada, aumenta gradualmente la resistencia mientras el operador informa de la aparición de la percepción. Establezca el umbral de "contacto detectado" en un 20% por encima del suelo de ruido. Esto evita que los contactos falsos de las micro vibraciones del guante. - ** Paso 4
Mapeo de mano del robot:** Mapeo de guante DOF a comandos de mano del robot. Para Inspire RH56, mapear cada ángulo de flexión del dedo (0 100%) a la posición del motor (0 1000 garrapatas). Prueba mediante el comando de cada dedo de forma independiente y confirmando la correspondencia visual. - ** Paso 5
Prueba de latencia de extremo a extremo:** Comando de un rápido cierre del dedo (100 ms de duración). Medir el tiempo desde la lectura del sensor del guante hasta el movimiento del dedo del robot observado a través de la cámara de muñeca.
Análisis de la latencia
| Stage | Typical Latencia | Optimization |
|---|---|---|
| Glove sensor readout | 3–8 ms | Use USB 3.0; avoid hubs |
| Hand model IK | 5–15 ms | Precompute lookup table; GPU IK |
| ROS2 message publish | 2–5 ms | Zero-copy transport; DDS tuning |
| Robot hand command | 10–25 ms | Direct serial vs. ROS2; reduce QoS depth |
| Total round-trip | 20–53 ms | Target <35 ms for natural feel |
| Video feedback (wrist cam) | 33–66 ms (30–60 fps) | Increase frame rate; MJPEG compression |
La latencia superior a 50 ms produce un retraso perceptible que degrada la coordinación del operador. Si el total medido supera los 50 ms, diagnostique añadiendo timestamps en cada etapa. El culpable más común es la configuración ROS2 QoS
Modos y medidas comunes de mitigación de los fracasos
- ** Deslizamiento de guantes durante sesiones prolongadas:** Los sensores de guantes se deslizan cuando el guante se desplaza en la mano. Utilice revestimientos de guantes no deslizantes y aprete las correas antes de cada sesión. Reexerce la calibración cada 30 minutos para las colecciones de varias horas.
- Singularidades IK en el espacio de las articulaciones del dedo: Cuando se ordena a poses extremas, la mano robot IK puede fallar o producir movimientos de tirón.
- La retroalimentación de la fuerza se deriva después de 2 horas: Los mecanismos de tensión del cable SenseGlove se deriva térmicamente.
- Dejado de calibración de los dedos de la pieza no coincide con la intención del operador: Esto suele indicar una calibración errónea de la geometría de la mano.
- ** Supercalentamiento de manos robóticas:** Las manos dexterosas que funcionan en un ciclo de trabajo alto durante más de 2 horas pueden sobrecalentar los controladores del motor.
Formatos de registro de datos para la teleoperación de guantes
- /guante/dedo_ángulos: Array flotante [16]
4 DOF por dedo × 4 dedos + pulgar (5 DOF). A 100 Hz. - /guante/punta de dedo_fuerzas: Array flotante [5]
fuerza normal estimada en cada punta de dedo en Newton. - /mano/muñeca_posición: Array flotante [7]
Posición 3D + cuaternón de muñeca en el marco de base del robot. - /robot_hand/joint_positions: Array float [6
20 dependiendo de la mano] posiciones conjuntas reales comandadas/medidas. a 50 Hz. - /observaciones/imágenes/camera_muñeca: RGB [480×640×3] cámara de muñeca de alcance cercano a 60 fps para la visibilidad de contacto con el objeto del dedo.
- Guarde en HDF5 con agrupación por episodio. Para la compatibilidad con ACT, extraer /guante/dedo_ángulos como vector de acción y /robot_hand/joint_positions como la observación. Ver la guía de formatos de datos](
T2 ) para detalles de conversión.
Guantes vs métodos de entrada alternativos: cuándo usar qué
| Input Method | DOF Control | Cost | Data Quality | Throughput | Best Tasks |
|---|---|---|---|---|---|
| Haptic glove (SenseGlove) | 20+ DOF per hand | $4,000-$10,000 | Highest for dexterous | 10-15 demos/hr | In-hand manipulation, assembly |
| Vision-based hand tracking | 21 keypoints per hand | $0 (camera only) | Lower (occlusion issues) | 15-20 demos/hr | Gross hand motions, prototyping |
| SpaceMouse (3Dconnexion) | 6 DOF (wrist only) | $130-$400 | High for arm, no fingers | 25-35 demos/hr | Pick-place, wiping, pushing |
| Leader arm (kinematic match) | 6-7 DOF (arm + gripper) | $3,100-$5,000 | Highest for arm tasks | 30-40 demos/hr | All arm tasks, highest throughput |
| VR controllers (Quest 3) | 6 DOF per hand | $500 | Good for gross manipulation | 20-30 demos/hr | Bimanual, remote operation |
La decisión clave: si su tarea requiere un control individual del dedo, use guantes. Si requiere solo un brazo + agarre abierto / cerrado, use un brazo líder o SpaceMouse. Los guantes producen un rendimiento 2-3 veces menor que los brazos líderes, por lo que la mayor fidelidad debe justificar la tasa de recogida más lenta.
Modalidades de retroalimentación: Háptica, visual y auditiva
El rendimiento del operador mejora dramáticamente con retroalimentación multimodal.
- ** Hapttic (retorno de fuerza):** SenseGlove y HaptX proporcionan resistencia cuando los dedos del robot entran en contacto con objetos. Esta es la modalidad de retroalimentación más valiosa - los operadores con retroalimentación háptica producen 30-40% menos golpes fallidos que los que tienen retroalimentación visual.
- Visual (feeds de la cámara): Una vista de la cámara de muñeca que muestre los dedos del robot y el objeto es esencial. Utilice una corriente de 60 fps para la retroalimentación visual sensible. Agregue una superposición de profundidad (mapa de profundidad RealSense D405) para ayudar a los operadores a juzgar la distancia.
- Audición (sonidos de contacto): Sintetiza la retroalimentación de audio de los datos de los sensores F/T: un tono que aumenta en tono a medida que aumenta la fuerza de contacto. Esto proporciona conciencia de la fuerza sin necesidad de hardware háptico. Utilice un mapeo simple: frecuencia = 200 Hz + (fuerza _N * 100 Hz), acoplado a 1500 Hz. Juega a través de los auriculares para evitar molestar a otros operadores.
- Compuesta de retroalimentación: La más alta calidad de la recopilación de datos hátiles utiliza los tres: guantes hápticos para la conciencia de la fuerza, auriculares VR para la inmersión visual, y señales de audio para la confirmación de contacto. Esta configuración de triple modalidad produce una calidad de datos comparable al doble de las demostraciones recogidas con retroalimentación visual solamente.
Integración de sensores táctiles de Paxini
Para los equipos que utilizan los sensores táctiles de Paxini (T3
- Posición del sensor: Sensores de montaje Paxini en las almohadillas de las puntas de los dedos de la mano del robot (no el guante).
- Registro de datos: Agregue
T0 (Float32MultiArray, 16 valores por dedo, 5 dedos) a 100 Hz a su grabación HDF5. Esto proporciona datos de geometría de contacto que las políticas utilizan para la detección de deslizamientos y regulación de la fuerza de agarre. - ** Correlación entre guantes y táctiles:** Durante la calibración, haga que el operador agarrar una serie de objetos de referencia (bola rígida, esponja suave, tarjeta delgada). Registre la correlación entre los ángulos de los dedos de los guantes y los patrones de contacto de Paxini. Estos datos de calibración ayudan a validar que el mapeo de guantes y robots produce el comportamiento de contacto esperado.
Guías relacionados
- Configuración de teleoperación bimanual -- configuraciones bimanual de guantes dobles
- Selección de sensores de fuerza/torque -- Sensores F/T de muñeca que complementan los datos de los guantes
- Formas de datos: HDF5, RLDS y LeRobot -- almacenamiento de guantes + datos táctiles en formatos estándar
- [Cómo configurar un laboratorio de teleoperatoria] ((
T7 ) -- configuración física para las estaciones de teleoperatoria de guantes - [Recrutación y formación de operadores]
T8 ) -- operadores de formación para la recogida de guantes - Guía del comprador de soluciones de teleoperación -- análisis de costes, incluidos los sistemas de guantes
Trabajar con el RCSV
RCSV opera los sistemas SenseGlove + Inspire RH56 y SenseGlove + Orca Hand en nuestras instalaciones de San Francisco y Allston.
- Servicios de recogida de datos -- Recopilación de datos de manipulación hábil a nivel de los dedos con operadores capacitados
- Tienda de hardware -- comprar sensores táctiles Paxini, Orca Hand, y accesorios de guantes
- Robot Leasing -- arrendar estaciones de teleoperatorio de guantes completas, incluidas las de mano, guante y computación
- [Plataforma de datos]
T13 ) -- subir, QA, y convertir conjuntos de datos de manipulación hábiles - [Contacta con nosotros]
T14 ) - Discuta sus necesidades de recopilación de datos de manipulación hábil
Recopilación de datos de manos dexterosas en el RCSV
RCSV opera sistemas SenseGlove + Inspire RH56 para la teleoperatoria dexterosa basada en guantes.
[Vea los servicios de datos]