Pipeline de recopilación de datos de robots: desde la teleoperación hasta el conjunto de datos preparados para la formación

[← Aprende]

Una tubería de datos mal diseñada pierde el 40% de su presupuesto de recolección en episodios inutilizables.

Por qué es importante el diseño de los oleoductos

La recopilación de datos para el aprendizaje de robots es costosa. A $30 $50 / hora para el tiempo del operador y el equipo de laboratorio, un conjunto de datos de 1.000 episodios cuesta $5,000 $ 15,000 en costos directos. Un oleoducto mal diseñado compone esto: los formatos de grabación inconsistentes forzan la conversión manual; los metadatos faltantes hacen que los episodios sean inutilizables; sin filtración de calidad significa que el 30 40% de los datos recogidos entrena la política para que fallen.

Un gasoducto bien diseñado se paga por sí mismo en la primera semana de uso. Este artículo describe cada etapa desde la grabación de la teleoperación en bruto hasta un conjunto de datos listo para el entrenamiento, con los filtros y controles que separan los datos de grado de investigación del ruido.

Etapa 1 Grabación sincronizada

La etapa de grabación capta todos los flujos de sensores durante la teleoperación con sincronización garantizada.

• Qué capturar: Imágenes de cámara desde todas las vistas (30 Hz mínimo); estados conjuntos posiciones, velocidades, par (100 Hz); acciones comandadas (la misma velocidad que los estados conjuntos); fuerza/torque si está equipado (1001000 Hz); estado de agarre (abierto/cerrado + corriente).
• ** Sincronización:** Trigger de cámara de hardware para sincronización de imagen de < 1 ms. Todas las corrientes marcadas en un solo reloj sincronizado PTP. Registra el pulso del gatillo como un canal separado para verificar la calidad de la sincronización después de la recogida.
• Metadatos por episodio: Identificación del operador, identificación del robot (para laboratorios mulirrobot), nombre y variante de la tarea, timestamp de inicio/finalización, condiciones ambientales (preestablecimiento de la iluminación, configuración de la tabla), UUID único del episodio para la trazabilidad.
• ** Formatos de almacenamiento:** HDF5 con conjuntos de datos en pedazos un archivo HDF5 por episodio, un grupo HDF5 por flujo de sensores. Compresión JPEG para imágenes (calidad 90); float32 sin pérdidas para flujos numéricos. Nunca escriba en exceso: escriba en un nuevo archivo y valida antes de eliminar cualquier dato bruto.

Etapa 2 Filtración de calidad

No todos los episodios valen la pena entrenarse. El filtrado agresivo de calidad es una de las intervenciones de mayor apalancamiento en una línea de datos eliminar el 20% inferior de los episodios a menudo mejora la tasa de éxito de la política añadiendo más de 50% de datos.

• ** Clasificación automática de éxito:** Entrenar una CNN ligera en el marco final de la cámara para predecir el éxito/fracasos. Etiquetar 500 episodios a mano, entrenar en 30 minutos, lograr una precisión del 92%.
• Filtro de fluidez de trayectoria: Calcule la media absoluta de sacudida (tercera derivada de posición) para cada trayectoria conjunta. Episódicos por encima del umbral de sacudida del 90o percentil probablemente contengan vacilaciones o correcciones del operador bandera para revisión manual o descarte.
• Duration outlier filter: Para cada tarea, calcular la media y la desviación estándar de la duración del episodio.
• Banderada de detección de colisión: Los episodios en los que el sistema de seguridad del robot haya activado una parada de emergencia deben excluirse automáticamente.
• Típico índice de rechazo: 2040% de los episodios en bruto son rechazados por filtros automatizados.

Etapa 3 Anotado

Las anotaciones enriquecen los episodios con etiquetas estructuradas que permiten una mejor formación y análisis.

• Instrucción de lenguaje: Una cadena de lenguaje natural que describe la tarea. Estandarizar el vocabulario entre los operadores: "recoger y colocarlo en el ." Usado por los modelos VLA (Vision-Language-Action) y para el acondicionamiento de tareas en políticas de múltiples tareas.- Punto de éxito (0100): Punto de calidad continuo del clasificador automatizado, complementando la etiqueta de éxito binaria. Útil para el aprendizaje del currículo comenzar a entrenar en episodios de puntaje alto.
• Segmentación de fases: Etiquetar la fase semántica de cada paso temporal: alcance / captura / transporte / lugar / liberación.
• Etiqueta de modo de falla (opcional): Para episodios fallidos: captar_fallo / dejar caer / error_objeto / tiempo de espera.

Etapa 4 Conversión de formato

Los diferentes marcos de formación esperan diferentes formatos de datos.

• ** Fuente de verdad: HDF5.** Siempre mantenga los archivos HDF5 originales. Nunca los elimine después de la conversión la fuente de verdad permite la reconversión cuando surgen nuevos formatos.
• RLDS (Datos de flujo de tensor): Formatos requeridos para Octo, RT-X y Open X-Embodiment. Convertir utilizando las herramientas T0. Cada episodio se convierte en un episodio TFDS con estructura de pasos estandarizada.
• LeRobot (HuggingFace Parquet): formato basado en parquet compatible con el ecosistema de conjuntos de datos HuggingFace.
• Zarr (nativo de la política de difusión): Almacenamiento de matriz de memoria mapeable utilizada por la base de código original de la política de difusión para un acceso aleatorio rápido durante el entrenamiento.

Etapa 5 Versión y procedencia

La reproductibilidad de los conjuntos de datos requiere una versión estricta. Los modelos deben ser entrenables solo desde una etiqueta de versión del conjunto de datos no desde "los archivos en esta carpeta en este momento".

• Inmutabilidad de episodios: Una vez que un episodio pasa por el filtro de calidad y se agrega al conjunto de datos, nunca se modifica.
• Hash-based episode IDs: Computa SHA-256 del archivo HDF5 crudo. Usar como el ID de episodio garantiza que el ID identifica de forma única el contenido, y cualquier corrupción es detectable.
• ** Dataset manifestes:** Un archivo JSON por versión del conjunto de datos que enumera todos los ID de episodio, sus metadatos, asignaciones divididas (train/val/test) y criterios de filtro.
• DVC (Control de la versión de datos): Para grandes conjuntos de datos, DVC rastrea qué archivos de datos corresponden a qué git se compromete.

Etapa 6 Integración de la formación

La etapa final alimenta el conjunto de datos en el ciclo de formación del modelo de manera eficiente.

• Muestreo estratificado: Muestreo de minipartidos con representación igual de las variantes de tareas, tipos de objetos y operadores. Previene que el modelo se ajuste demasiado a la clase mayoritaria.
• Aumento en línea: Aplicar el aumento de datos durante el paso hacia adelante (no precomputado) para mantener los requisitos de almacenamiento manejables: temblor de color (±15% de brillo/contraste/saturación), cosecha aleatoria (±10% del tamaño de la imagen), ruido gaussiano en estados conjuntos (σ=0,001 rad).
• Peso de los episodios: Peso de los episodios por puntaje de éxito Los éxitos de alta calidad reciben un mayor peso de muestreo durante el entrenamiento.

La plataforma de datos RCSV automatiza las etapas 2 a 5 de esta línea de tuberías, proporcionando una interfaz web para la revisión de calidad, anotación y exportación de formato.

Continúa el bucle

¿Tiene la configuración? Cierra el circuito de hardware, datos y puntuación.

Brasar hardware → Hace el entrenamiento? Score it → Necesita de datos a escala →