Volver a Paxini Gen3 Path

Antes de empezar: lo que necesitas

Orientación para el camino de aprendizaje de Paxini Gen3. ¿Qué sensación táctil añade al aprendizaje de robots, lista de verificación de hardware y software, y qué va a construir.

Unidad 0 de 5 · Orientación · ~30 min

Esta unidad es de orientación pura. Revise cada lista de verificación, entienda qué añade la detección táctil al aprendizaje del robot, y lea las estimaciones de tiempo antes de iniciar la Unidad 1.

Por qué existe esta unidad: La detección táctil agrega una nueva modalidad de datos a su tubería de robots, lo que significa nuevos modos de falla sensor no detectado, desalineamiento de timestamp, deriva de calibración. Esta unidad existe para que entiendas lo que estás construyendo antes de tocar un cable.

Lo que el sentido táctil añade al aprendizaje de los robots

La mayoría de los conjuntos de datos de aprendizaje de robots contienen tres modalidades: posiciones conjuntas (propriocepción), imágenes de cámara (visión) y, a veces, fuerza/torque de muñeca. Ninguna de estas indica a la política ¿si el agarre tiene un agarre estable sobre el objeto actual.

El sensor táctil llena esta brecha. Un sensor montado en la punta del dedo mide la distribución de la presión de contacto en la superficie del agarre el patrón espacial de las fuerzas que determina si un agarre se sostiene o se desliza. Esto proporciona supervisión directa del estado de contacto que transforma la forma en que las políticas de aprendizaje de imitación manejan las tareas ricas en contacto:

La mejora concreta En los puntos de referencia de manipulación con alto contacto (objetos deformables, objetos de peso variable, contenedores transparentes), las políticas de conocimiento táctil entrenadas con datos de gen3 superan consistentemente las líneas de base de la visión solamente en 1540% en las métricas de estabilidad de agarre. La mejora es mayor para objetos donde la estimación de la calidad de la captura visual es ambigua exactamente los casos que más importan en aplicaciones reales.

Lista de verificación de hardware

Antes de comenzar la Unidad 1, verifique que tiene todos los elementos de abajo en la mano.

  • ** Modulo de sensor Paxini Gen3** punta de los dedos, almohadilla de los dedos o variante de palma dependiendo de su agarre. Si aún no ha pedido, [ver el centro de Paxini Gen3] T4) para la orden y la selección de variantes.
  • ** Cablo USB-C (incluido en la caja) ** el cable corto de 0,5 m que se envía con el sensor. Para la integración del brazo, también necesitará un centro USB cualquier centro USB 3.0 alimentado funciona.
  • Adaptador de montaje para su agarre incluido en la caja si especificó su agarre en el momento de la orden. Para agarre personalizado, use la montaje adhesivante y los tornillos M2 (incluidos).
  • Armo robot con Python SDK cualquier brazo compatible (OpenArm, Franka, serie UR, o similar). Necesitas una interfaz Python que funcione y devuelva posiciones conjuntas con timestamps.
  • **Camera montada en la muñeca (para la Unidad 4+) ** cualquier cámara USB o GigE. 30 fps mínimo.

Lista de verificación de software

Confirme estos elementos antes de la Unidad 1.

  • Python 3.10 o superior ejecutar T0. El SDK de Paxini requiere 3.10+.
  • pip y venv ejecutar T1. Crear un entorno virtual nuevo para este camino: T2.
  • ~5 GB de espacio en disco libre para el SDK, grabaciones de conjuntos de datos y puntos de control de modelos. Un conjunto de datos táctil de 50 demos es de aproximadamente 1,5 GB.
  • Su SDK de brazo robótico está instalado y está funcionando confirme que puede leer posiciones conjuntas de Python antes de la Unidad 3.
  • ** GPU (para la Unidad 5) ** una GPU NVIDIA con 8 GB + VRAM reduce el entrenamiento ACT de ~ 3 horas a ~ 45 minutos. El entrenamiento en la CPU funciona pero es lento. Las opciones de GPU en la nube se cubren en la Unidad 5.

Estimaciones de tiempo

Unit What You Do Time
0 This orientation ~30 min
1 SDK install, first reading, heatmap verify ~1 h
2 Data structure, calibration, grasp detection ~1.5 h
3 Mount sensor, sync with arm, verify timestamps ~2 h
4 Record 50 demo dataset with tactile ~2 h
5 Train tactile policy, evaluate vs baseline ~1.5 h
Total ~8 h 30 min

Las unidades 12 se pueden realizar en una sesión sin el brazo robótico (sólo con un sensor).

Cómo obtener ayuda

  1. Verifique el cheque de finalización en la parte inferior de cualquier unidad en la que se encuentre especifica exactamente lo que debe ver cuando todo está funcionando.
  2. Lea la sección ** solución de problemas** en la [guía de software]T5) cubre los 3 principales problemas con correcciones exactas.
  3. Publica en el ** foro de preguntas de hilo** con su sistema operativo, versión del SDK (T3), y la salida de error completa.

Orientación completa Cuando...

Ha revisado todos los artículos de ambas listas de verificación, tiene en mano su sensor Paxini Gen3 con el adaptador de montaje correcto, y ha reservado al menos una hora ininterrumpida para la Unidad 1.

[← Regreso a la visión general del camino]