- RGB y profundidadSigue siendo la base para tareas de manipulación guiadas por la percepción.
- Fuerza y táctilImportante para transiciones ricas en contacto y estabilidad del agarre.
- Lenguaje y metadatosÚtil para recuperación, cortes de evaluación y fundamentación de instrucciones.
Conjuntos de datos de robots multimodales
Los conjuntos de datos multimodales conectan visión, acción, propriocepción y tacto para que los equipos puedan razonar sobre qué información realmente necesitará su política.
Esta página ayuda a los equipos a decidir si necesitan más modalidades, mejor alineación temporal o metadatos más claros antes de volver a entrenar.