Evaluar su política

Unidad 5 de 6 · Evaluación · ~ 1 hora

ejecuta su punto de control entrenado en simulación o en su robot real, mide la tasa de éxito con un protocolo estructurado de 20 ensayos, e identifique el modo de fracaso superior que reduce su puntaje.

Evaluación de la simulación

Siempre evalúe en la simulación primero, incluso si tiene un robot real. La evaluación de Sim es rápida, segura y le da un número de línea de base reproducible con el que puede compararse después de la reentrenamiento.

Fuente ~/lerobot-env/bin/activar # Evaluar su mejor punto de control (reemplazar paso_050000 con su paso de control) python -m lerobot.scripts.eval \ --pre-entrenado-política-nombre-o-camino \ ~/lerobot-política/pick-place-v1/checkpoints/step_050000 \ --env.name gym_pusht/PushT-v0 -- \eval.n-episodos 20 \eval --.use-async-envs false # Resultados: éxito_rate, media_reward, episodio_videos/

Qué esperar: Una política bien entrenada sobre 50 demostraciones de sim debería alcanzar una tasa de éxito del 6085% en MuJoCo.

Lista de verificación de seguridad de los robots reales

Si estás evaluando en un robot real, revisa esta lista antes de tu primer despliegue.

• Eliminar el espacio de trabajo de cualquier objeto que no forma parte de la tarea. La política aprendida a actuar en un contexto visual específico objetos inesperados pueden causar un comportamiento errático.
• Manténgase en la parada de emergencia (E-stop) o esté listo para pulsar el Ctrl+C durante toda la sesión de evaluación.
• Comience con una velocidad limitada al 50% máximo, y reduzca a 30% si el primer ensayo parece tirador o impreciso.
• Coloca los objetos para que coincidan exactamente con la configuración de tu espacio de trabajo de entrenamiento. Utiliza el mismo ángulo de cámara, la misma iluminación, los mismos colores de los objetos.
• Nunca evalúes más allá de los límites físicos de las articulaciones de tu robot.

Protocolo de evaluación de robots reales

Realice exactamente 20 ensayos. Esto le da suficientes muestras para una estimación fiable de la tasa de éxito (±10% en el nivel de confianza del 95%). Graba cada ensayo en video necesitará las imágenes para diagnosticar los modos de falla.

# Ejecutar la política en su robot real python -m lerobot.scripts.control_robot \ --robot-path lerobot/configs/robot/so100.yaml \ --control-mode eval \ --pre-trained-policy-name-or-path \ ~/lerobot-policy/pick-place-v1/checkpoints/step_050000 \ --eval.n-episodos 20 \ --record-video 1

Después de cada ensayo, califique manualmente: 1 para el éxito completo de la tarea, 0 para cualquier fracaso (aperturas parciales, caídas, perdidas).

Diagnóstico de los modos de fracaso

Observe las grabaciones de vídeo y clasifique los fallos.

Calidad de los datos

Trayectoria de aproximación inconsistente el brazo nunca se compromete plenamente con el agarre

La política es una media entre múltiples estrategias de agarre en sus datos de entrenamiento. Esto sucede cuando algunas demostraciones se acercan desde la izquierda y otras desde la derecha, o cuando el momento de cierre del agarre es inconsistente.

Capacidad de modelo

La trayectoria parece razonable pero la precisión es de 1 2 cm de forma constante

El modelo está aprendiendo el comportamiento correcto pero carece de la capacidad de ser preciso. Esto sucede cuando el tamaño de la pieza es demasiado corto (no hay suficiente horizonte de planificación) o cuando el futuro de la pieza es demasiado pequeño.

El cambio de distribución

Funciona perfectamente en algunas posiciones, falla completamente en otras

Las posiciones de objetos durante la evaluación están fuera de la distribución de sus datos de entrenamiento. La política no ha visto esas posiciones antes.

Unidad 5 completa cuando...

Ha ejecutado 20 ensayos de evaluación (en simulación o en su robot real) y ha medido una tasa de éxito. Ha visto todos los videos de modo de falla e identificado si el fallo principal es la calidad de los datos, la capacidad del modelo o el cambio de distribución.

[← Volver a la visión general del camino]