Cómo pensamos sobre la evaluación real
Un marco práctico para la evaluación de robots en el mundo real a través del éxito de tareas, la repetibilidad, el comportamiento de contacto y la fiabilidad operativa.
[← Investigación]
¿Por qué el éxito de las tareas por sí solo no es suficiente cuando se evalúa robots que necesitan sobrevivir a condiciones de funcionamiento reales?
Evaluación que coincida con el riesgo de despliegue
Despliegue la forma Medida de fallo Iterada
La evaluación de robots a menudo falla de la misma manera que falla el análisis de productos: los equipos optimizan para la métrica visible más fácil y asumen que representa todo el sistema. En robótica, esto generalmente significa una tasa de éxito estrecha medida en condiciones controladas.
El éxito es necesario, no suficiente
Una política puede completar una tarea y ser aún frágil. Puede depender de condiciones iniciales estrechas, evitar el contacto por completo, o tener éxito solo cuando el tiempo, la iluminación y la colocación de objetos son inusualmente limpios.
Lo que miramos en cambio
- ** Repetible**
¿Puede el sistema funcionar en todas las carreras, no sólo en un ejemplo destacado? - ¿Qué sucede cuando el primer intento es imperfecto?
- ** Calidad de contacto**
¿Se comporta el robot de manera predecible cuando la fuerza y la fricción son importantes? - ** Robustez operativa**
¿Qué tan sensible es la configuración a la deriva de calibración, el costo de restablecimiento y el ruido ambiental?
La evaluación debe coincidir con la forma de despliegue
El punto de referencia correcto depende de dónde va a vivir el robot. Un robot demo, una plataforma de investigación y una célula de producción no comparten el mismo perfil de riesgo.
Por qué es importante la evidencia real
Esta es una de las razones por las que valoramos tanto los entornos reales de robots y los sistemas en vivo. La simulación es útil, pero oculta muchas de las perturbaciones que hacen que la evaluación sea significativa: detección imperfecta, desgaste real, comportamiento de restablecimiento humano y contexto de tarea que es más difícil de escribir que de observar.
Regla práctica
[Por qué importan los datos del mundo real] [
Evaluar los sistemas frente a la realidad
Si desea ayuda para diseñar flujos de evaluación que reflejen implementaciones reales, podemos ayudar a conectar hardware, datos y estrategia de prueba.
[Datos de solicitud]