Guía de arranque rápido de LeRobot
Comience con la instalación de Hugging Face LeRobot, conecte un brazo robótico, grabe demostraciones y entrene su primera política en menos de 2 horas.
Comience con el Embrace Face LeRobot, instale, conecte un brazo robot, grabe 50 demostraciones y entrene su primera política de manipulación.
Comenzante Intermedio
1. Instalar 2. Hardware 3. Calibrar 4. Grabar 5. Visualizar 6. Entrenar 7. Evalua 8. Compartir
Pre-requisitos
- Un brazo robótico con soporte (ver el paso 2 para la lista completa)
- Ubuntu 22.04 o 24.04 (macOS funciona para algunas funciones)
- Python 3.10+
- GPU NVIDIA con 8+ GB de RAM (para entrenamiento; no es necesario para grabar)
- Webcam USB o cámara RealSense
Lo que construirás
En este arranque rápido, instalarás LeRobot, conectarás y calibrarás un brazo robótico, grabarás 50 episodios de demostración de una tarea de pick-and-place, entrenarás una política de ACT (Action Chunking with Transformers), ejecutarla en tu robot y compartirás tu conjunto de datos con HuggingFace Hub. Al final, tu robot recogerá de forma autónoma objetos y los colocará
1 de la Comisión
Instalar LeRobot
LeRobot se instala como un paquete Python. Recomendamos usar un entorno virtual para mantener las cosas limpias.
Copiar # Crea un entorno virtual python3 -m venv ~/lerobot_env fuente ~/lerobot_env/bin/activar # Instalar LeRobot
LeRobot v0.8.1
** Verificación rápida:** Si ve un número de versión, está listo para ir. Si recibe un error sobre los puertos de falta
2 de la Comisión
El hardware soportado
LeRobot trabaja con un creciente ecosistema de brazos robóticos asequibles.
Los productos de la industria de la industria de la industria de la industria de la industria de la industria de la industria de la industria de la industria de la industria de la industria de la industria de la industria de la industria de la industria de la industria de la industria de la industria de la industria de la industria de la industria de la industria de la industria de la industria de la industria de la industria de la industria de la industria de la industria de la industria de la industria de la industria de la industria de la industria de la industria de la industria de la industria de la industria de la industria de la industria de la industria de la industria de la industria de la industria de la industria de la industria de la industria de la Unión
Armado de escritorio de 6 DOF, servos Dynamixel, el brazo LeRobot más popular.
~ $ 200 (kit de trabajo propio)
Abriendo el brazo
Armado de 6 DOF diseñado para recoger datos.
$2.400
Koch v1.1
Armado de bajo costo de 5 DOF, ideal para aprender, limitado para tareas complejas.
~ $ 150 (DIY)
Aloha, ¿qué quieres?
Configuración bimanual de doble brazo, el estándar de oro para la manipulación hábil.
Más de 20 mil dólares.
El musgo
Armado ligero de 6 DOF con controlador integrado.
- $500
ViudaX 250
Armamento de investigación profesional de la Robótica Trossen.
$3.500
¿Necesitas un brazo robot para LeRobot?
OpenArm está diseñado desde cero para la recopilación de datos
[Ver OpenArm en la tienda]
3 El
Conecta y calibra tu brazo
Enchufe el brazo robótico a través de USB y ejecute la rutina de calibración. Esto establece la comunicación y mapea los límites físicos de las articulaciones.
Copie# Encuentra el puerto serial de tu robot ls /dev/ttyUSB* /dev/ttyACM* # Establezca permisos (solo se necesitan una vez, o añada la regla udev) sudo chmod 666 /dev/ttyUSB0 # Ejecuta calibración lerobot calibración \ --robot-type=so100 \ --port=/dev/ttyUSB0
La calibración le pide que mueva el brazo a través de su rango de movimiento:
Calibración de SO-100 en /dev/ttyUSB0... Mueve la articulación 1 (base) a su posición mínima, luego pulsa Enter. Mueve la articulación 1 (base) a su posición máxima, luego pulsa Enter. ... Calibración completa!
Si tienes un brazo líder para la teleoperatoria, calibra también:
Calibración de copiador robótico \ --robot-type=so100 \ --port=/dev/ttyUSB0 \ --leader-port=/dev/ttyUSB1
Importante: Si la calibración está en suspenso, compruebe que ningún otro programa está utilizando el puerto de serie (cerrar cualquier IDE Arduino, sesiones de pantalla, etc.). También verifique que la velocidad de baud coincida con sus servos
4 de la Comisión
Graba 50 episodios de demostración
Es hora de enseñarle a su robot. Establezca una tarea simple
Copia# Comience la grabación con el líder brazo teleoperación lerobot registro \ --robot-type=so100 \ --port=/dev/ttyUSB0 \ --leader-port=/dev/ttyUSB1 \ --fps=30 \ --task="pick_block_place_bowl" \ --num-episodes=50 \ --output-dir=~/datasets/my_first_dataset # Control de teclado: #Enter
Consejos para grabar buenas demostraciones:
- Sé consistente: Comience desde la misma posición de inicio cada episodio
- Moverse suavemente: Evite movimientos salidos o apresurados
- Posiciones diferentes: Coloque el bloque en puntos ligeramente diferentes cada vez
- Tenga éxito cada vez: Solo mantenga demostraciones exitosas
- Toma descansos: La fatiga conduce a demos descuidados
registro en lotes de 10 15
** 50 episodios son suficientes para una simple tarea de pick-and-place con la política de ACT. Toda la sesión de grabación dura aproximadamente 20
5 El
Visualiza su conjunto de datos
Antes de entrenar, inspeccione los episodios grabados para asegurarse de que se ven correctos.
Copie# Lanzar el visualizador incorporado lerobot visualize-dataset \ --dataset-path=/datasets/my_first_dataset # O ver un episodio específico lerobot visualize-dataset \ --dataset-path=/datasets/my_first_dataset \ --episode=0
Esto abre una ventana del navegador que muestra las vistas de la cámara junto a las gráficas de posición conjunta.
- Las imágenes de la cámara son claras (no negras, no congeladas)
- Las trayectorias articulares son suaves (sin picos repentinos)
- Los episodios comienzan y terminan limpios
- La tarea se completa con éxito en cada episodio
Copia# Estadísticas rápidas sobre su conjunto de datos python3 -c " de lerobot.common.datasets import LeRobotDataset ds = LeRobotDataset('~/datasets/my_first_dataset') print(f'Episodos: {ds.num_episodes}') print(f'Total de marcos: {len(ds)}') print(f'FPS: {ds.fps}') printf'Keys: {listds[0.keys)))) "
6
Entrenar una política de ACT
Ahora la parte divertida es entrenar una política de red neuronal en sus demostraciones. Usaremos ACT (Action Chunking with Transformers), que funciona muy bien para tareas de manipulación y entrena rápido.
Copia# Entrenamiento de la política ACT en su conjunto de datos lerobote tren \politica=acto --dataset-path=/dataset/my_first_dataset --output-dir=/policies/my_first_policy \num-epochs=100 \batch-size=8 \lr=1e-4 # Resultado de entrenamiento: #Época 1/100 √ Loss: 0.4521 √ Time: 12s #Época 10/100 √ Loss: 0.1234 √ Time: 11s #Época 50/100 √ Loss: 0.0312 √ Time: 11s #Época 100/100 √ Loss: 0.0187 √ Time: 11s √ Training complete! Política guardada en ~/policies/my_first_policy
El tiempo de entrenamiento depende de su GPU y el tamaño del conjunto de datos:
- RTX 3060 (12 GB): ~30 minutos para 100 épocas en 50 episodios
- RTX 4090 (24 GB): ~10 minutos
- Sólo en la central central: ~3 horas (no recomendado)
Cuándo parar el entrenamiento: Observe la curva de pérdidas. Si la pérdida no ha disminuido durante más de 20 épocas, puede parar temprano.
7
Evaluar su política
Ejecutar la política de entrenamiento en su robot y ver cómo funciona.
Copia# Ejecutar la política en robot lerobot eval \ --policy-path=/policies/my_first_policy \ --robot-type=so100 \ --port=/dev/ttyUSB0 \ --num-rollouts=10 # Ejecutar la política en robot lerobot eval \ --policy-path=/policies/my_first_policy \ --robot-type=so100 \ --port=/dev/ttyUSB0 \ --num-rollouts=10 # Ejecutar: # Rollout 1/10: SUCCESS # Rollout 2/10: SUCCESS # Rollout 3/10: FAILURE
La tasa de éxito del 70% en el primer intento es un resultado sólido.
- Recolectar más demostraciones para los casos de fallas específicos (objeto en el borde, orientación diferente)
- Aumentar las épocas de formación a 200 si las pérdidas seguían disminuyendo
- Intenta la política de difusión para tareas en las que el robot siga diferentes caminos hacia el mismo objetivo
¿Quieres probar la Política de difusión en su lugar? lerobot train \ --policy=diffusion \ --dataset-path=/datasets/my_first_dataset \ --output-dir=/policies/my_first_diffusion \ --num-epochs=200
8 El
Compartir con HuggingFace Hub
Empuje su conjunto de datos y la política entrenada a HuggingFace Hub para que otros puedan usarlo
Copia# Ingrese a HuggingFace (configuración única) abrazarface-cli login # Empuje su conjunto de datos lerobot empuje a hub \ --dataset-path=/datasets/my_first_dataset \ --repo-id="your-username/my-first-lerobot-dataset" # Empuje su política entrenada lerobot empuje a hub \ --policy-path=/policies/my_first_policy \ --repo-id="your-username/my-first-act-policy"
Su conjunto de datos está disponible ahora en
Felicidades, lo hiciste.
Installas un robot, conectas un robot, grabas demostraciones, entrenas una política y la despliegas. Esta es la base del aprendizaje moderno de robots. Desde aquí, puedes escalar a conjuntos de datos más grandes, tareas más complejas y modelos VLA. Echa un vistazo a los tutoriales a continuación para profundizar.
Solución de problemas
Permiso de puerto de serie rechazado
Ejecutar
Armado robot no detectado
Verifique la conexión USB. Ejecute
Perdida de formación no disminuye
Compruebe si su conjunto de datos no está vacío o corrupto:
La política se ejecuta pero el robot no se mueve
Verifique si el robot está en el modo de control correcto. Verifique si las dimensiones de acción coinciden con su robot (6 articulaciones + agarre = 7D). ejecuta
La cámara está en negro en las grabaciones
Verifique el índice de la cámara con
Tutoriales relacionados
¿Qué es esto?
Guía completa de LeRobot
La visión general completa: qué es LeRobot, todos los algoritmos compatibles, el ecosistema de hardware y cómo se integra RCSV.
[
Recopilar datos de entrenamiento de robots
Aumente su recopilación de datos con puntuación de calidad, formato RLDS y mejores prácticas.
[
La mejoría de un modelo VLA
Ir más allá de ACT
[
OpenArm primera demostración
El brazo ideal para LeRobot
[
Preguntas frecuentes
¿Qué brazos robóticos funcionan con LeRobot?
LeRobot admite robots de la serie SO-100, Koch v1.1, Aloha, Moss, OpenArm, WidowX y UR. El marco es extensible.
¿Cuántas demostraciones necesito para la formación política de LeRobot?
Para tareas simples como la política de selección y ubicación con ACT, 50 demostraciones son suficientes para obtener una política de trabajo. Para tareas más complejas, apunta a 100
¿Qué es ACT y cómo se compara con la Política de difusión?
ACT (Action Chunking with Transformers) predice una secuencia de acciones futuras desde una sola observación, lo que la hace rápida y efectiva para tareas de manipulación.
¿Puedo usar LeRobot sin un robot físico?
Sí. LeRobot incluye entornos de simulación y conjuntos de datos de ejemplos que puede utilizar para aprender el marco. Puede entrenar políticas sobre conjuntos de datos comunitarios desde HuggingFace Hub y evaluar en simulación antes de implementar en hardware.
¿Necesito una GPU para entrenar políticas con LeRobot?
Se recomienda encarecidamente una GPU con al menos 8 GB de VRAM. El entrenamiento de política ACT en 50 episodios toma aproximadamente 30 minutos en un RTX 3060 y 10 minutos en un RTX 4090.
¿Fue útil este tutorial?
👍 Sí
Manténgase al frente en robótica
Obtenga las últimas noticias sobre las implementaciones de robots, la recopilación de datos y la IA física