Paxini Gen3: Desde la detección hasta el aprendizaje de robots mejorados con el tacto

En ~ 8 horas, pasar de su primera lectura de sensor a una política de manipulación de robots entrenados que utiliza retroalimentación táctil. Construirá un tubo de detección de calidad de agarre completo integrado con la recopilación de datos del brazo robótico el mismo flujo de trabajo utilizado en la investigación de manipulación rica en contactos.

Tiempo total ~ 8 horas

Dificultad intermedia

Unidades 6 (+ Orientación)

Hardware Requerido Paxini Gen3 + cualquier brazo robótico

Prerequisitos básicos Python, un brazo robot

** Antes de comenzar este camino:** Usted debe estar cómodo escribiendo guiones básicos de Python (lección de datos de un dispositivo, análisis de matrices) y tener un brazo robot con un SDK Python que puede controlar. No necesita experiencia previa en investigación de robótica. Si es nuevo en la recopilación de datos de robots en general, complete el [OpenArm aprendizaje camino]

Lo que construirás

Al final de este camino tendrás:

Mapa de calor táctil en vivo

Una visualización de presión de transmisión que se ejecuta a 500 Hz desde su sensor Gen3, confirmando que cada taxel es funcional.

Detector de calidad de la captura

Un clasificador en línea que distingue en tiempo real las agarradas estables de las propensas a resbalones durante el funcionamiento del robot.

Datos táctiles (50 demostraciones)

Un conjunto de datos completo en formato LeRobot con canales táctiles + articulares + cámaras sincronizados, verificados de calidad y listos para el entrenamiento.

Política de conocimiento táctil

Un modelo de ACT o de política de difusión capacitado que utiliza entradas táctiles evaluadas en función de una línea de base de visión única.

Descripción general del camino

Cada unidad termina con un control de finalización de concreto para que sepas cuándo seguir adelante.

¿Qué es esto?

0

Orientación: Antes de comenzar a instalar

Qué es lo que la detección táctil añade al aprendizaje de robots, la lista de verificación de hardware y software, lo que construirás y cómo obtener ayuda si estás atascado.

• 30 min · No contenido técnico

[T1]

1 de la Comisión

Instalar y verificar el sensor

Instala el SDK Paxini, conecta el Gen3 a través de USB-C, escribe un guión de transmisión de 5 líneas y ejecuta el mapa de calor en vivo para confirmar que todos los taxels están funcionando.

• Una hora

](T2) [

2 de la Comisión

Comprender los datos táctiles

Aprenda la estructura espacial de la matriz de presión, calibre los umbrales de detección de contacto, implementa la lógica de detección de agarre y visualice los eventos de contacto a lo largo del tiempo.

• 1,5 horas

](T3) [

3 El

Sincronizar el táctil con el brazo robótico

Coloque el sensor en su agarre, conecte USB a lo largo del brazo y utilice MultiSourceSync para grabar marcos sincronizados de brazo + táctil + cámara con alineación de sello de tiempo verificada.

• 2 horas

](T4) [

4 de la Comisión

Registran las demostraciones táctiles

Utilice el formato extendido del conjunto de datos LeRobot para grabar 50 demostraciones de captura y ubicación con canales táctiles. Aplique la lista de verificación de calidad y los eventos de deslizamiento de bandera.

• 2 horas

](T5) [

5 El

Entrenemos una política de conocimiento táctil

Añadir táctil como modalidad de observación en ACT o en la Política de difusión, entrenar en su conjunto de datos y evaluar en comparación con una línea de base de visión en objetos deformables y transparentes.

• 1,5 horas (+ tiempo de formación)

¿Qué es esto?

Empezar el camino Unidad 0 →

O saltar directamente a Unidad 1 si ya ha hecho la orientación.