Cómo funcionan los sistemas de teleoperación de robots
Visión técnica de la teleoperación robótica <unk> cinemática líder-seguidor, transmisión de vídeo, latencia, registro de datos e interfaces de operador.
[← Aprende]
Una guía práctica de la ingeniería detrás de los sistemas modernos de teleoperación de robots utilizados para la recopilación de datos y la operación remota.
¿Qué es la teleoperatoria?
La teleoperación robótica significa que un operador humano controla un robot desde una interfaz remota para realizar tareas físicas. En el aprendizaje robótico, la teleoperación tiene dos propósitos: (1) recopilación de datos
La calidad de los datos de teleoperación es el mayor determinante del rendimiento de las políticas en el flujo posterior. Las demostraciones ruidosas, tirantes o inconsistentes producen políticas que son ruidosas, tirantes e inconsistentes. Un sistema de teleoperación bien diseñado no es opcional.
Componentes del sistema
Un sistema completo de teleoperación tiene cinco subsistemas que deben funcionar juntos de manera fiable.
- ** Interfaz del operador:** El dispositivo que el humano utiliza para controlar al robot. Las opciones incluyen un auricular VR + seguimiento de manos (intuitivo pero caro), un brazo líder (una réplica ligera del brazo robótico que el operador mueve físicamente) o un ratón espacial / joystick de 6 DOF (simple pero limitado en expresión).
- Reacción de vídeo: Una o más cámaras se alimentan desde el entorno del robot transmitido al operador. Configuración típica: una cámara montada en la muñeca (visión centrada en el objeto) + una cámara de visión general externa. La pantalla del operador debe mostrar las feeds con una latencia mínima.
- Canal de mando: Transmite los comandos de movimiento del operador (ángulos conjuntos o poses cartesianas) al controlador robot a alta frecuencia (100
1000 Hz). Debe ser fiable y con baja latencia los paquetes caídos causan movimientos de tirón que contaminan los datos de entrenamiento. - Susistema de seguridad: Botón de parada de emergencia accesible al operador y al observador local de seguridad; software de vigilancia que detiene al robot si se interrumpe el flujo de comandos durante > 100 ms; detección de colisión en el controlador del robot.
- Registros de datos: Registran todos los flujos sincrónicamente para el entrenamiento: imágenes de la cámara, estados conjuntos, acciones comandadas, lecturas de fuerza/torque y metadatos de episodios. La sincronización a 10 ms es suficiente para la mayoría de las políticas; la sincronización submillisecondas requiere disparadores de hardware.
Cinemática del líder y del seguidor
La arquitectura líder-seguidor es la configuración más común para la recopilación de datos de alta calidad. El operador mueve físicamente un brazo líder (compensado por gravedad para que se sienta ligero); el brazo seguidor (el robot real) refleja esos movimientos en tiempo real.
El bucle de control se ejecuta de la siguiente manera:
- ** Paso 1
Leer articulaciones del líder:** Los codificadores conjuntos del brazo del líder informan ángulos a 1000 Hz. - ** Paso 2
Kinemática avanzada:** Calcule la postura cartesiana del factor final de liderazgo desde ángulos conjuntos utilizando el modelo cinemático. - ** Paso 3
Kinemática inversa:** Resolver los ángulos de articulación del seguidor que logren la misma posición del efecto final en el marco de coordenadas del seguidor. - ** Paso 4
Enviar al seguidor:** Comando el controlador de posición conjunta del brazo del seguidor. La latencia desde el paso 1 hasta el paso 4 debe ser <5 ms para un seguimiento sin problemas. - ** Paso 5
Log:** Registra las articulaciones del líder, las articulaciones del seguidor, la posición de comando y todos los datos del sensor en el disco.
La compensación gravitatoria en el brazo líder es crítica: sin ella, el operador debe mantener el brazo contra la gravedad, causando fatiga y movimientos tensos y antinaturales.
Requisitos para el streaming de videos
La latencia es el enemigo de una buena teleoperación. Cuando el operador ve las acciones del robot con un retraso de 500 ms, se sobrecorregen y crean movimientos osciladores e inestables. La latencia objetivo para una teleoperación cómoda es bajo de 150 ms vidrio a vidrio (sensor de cámara a pantalla del operador).
- Resolución: 720p (1280×720) mínimo para tareas de manipulación; 1080p es preferible cuando se detectan objetos pequeños.
- Rata de fotogramas: 30 fps mínimo; 60 fps mejora significativamente el rendimiento del operador en tareas rápidas.
- Protocolo: WebRTC para operación remota a través de Internet
maneja el recorrido de NAT y se adapta a las condiciones de la red. Para uso local de laboratorio, UDP crudo o GStreamer a través de LAN logra una latencia más baja. - ** Compresión:** H.264 es estándar; H.265 ofrece una mejor calidad con la misma velocidad de bits pero una mayor latencia del codificador. Para la grabación de datos (no streaming), guarde JPEG sin pérdidas o de alta calidad.
Desglose de presupuesto de la latencia
| Pipeline Stage | Typical Latencia | Optimization Lever |
|---|---|---|
| Camera sensor exposure + readout | 10–30 ms | Higher frame rate, global shutter |
| USB/GigE transfer to host | 1–5 ms | GigE preferred over USB3 for determinism |
| Encoding (H.264 hardware) | 5–20 ms | Hardware encoder (NVENC, V4L2) |
| Network transmission (LAN) | 1–2 ms | Wired ethernet, QoS |
| Network transmission (WAN) | 20–200 ms | CDN edge nodes, WebRTC ICE |
| Decoding on display host | 5–15 ms | Hardware decoder |
| Display refresh latency | 8–16 ms | 120 Hz display |
| Total (LAN target) | 30–90 ms | — |
| Total (WAN target) | 50–300 ms | — |
Formatos de grabación de datos
Cada sesión de teleoperación produce un conjunto de episodos. Un episodio es un intento continuo de la tarea desde el principio hasta el final.
El formato de grabación estándar utiliza archivos HDF5
- Imágenes: almacenadas como matrices JPEG comprimidas a 30 Hz. Un episodio de 2 minutos con 3 cámaras a 720p toma aproximadamente 500 MB sin comprimir; JPEG reduce esto a ~ 50 MB.
- Estados de las articulaciones: Registrado a 100 Hz: posición, velocidad y esfuerzo para todas las articulaciones.
- Acciones: Las posiciones conjuntas comandadas a 100 Hz (para el entrenamiento, esta es la salida objetivo).
- Instrucción de lenguaje: Un campo de cadena: "ponga el bloque rojo y coloca en la basura".
- Metadatos: Identificación del episodio, identificación del operador, identificación del robot, nombre de la tarea, timestamp de inicio, etiqueta de éxito, condiciones ambientales (iluminación, altura de la tabla).
Metricas de calidad
No todos los episodios de teleoperación son iguales.
- Tasa de éxito por operador: Algunos operadores logran más del 80% de éxito; otros son inferiores al 50%.
- Punto de fluidez de trayectoria: Significa un jerk absoluto (tercera derivada de posición) a lo largo del episodio.
- Consistencia entre operadores: KL divergencia entre las distribuciones de acciones de diferentes operadores en la misma tarea.