HumanML3D: Datos generación de texto a movimiento
HumanML3D: 14.616 movimientos humanos con 44.970 descripciones de texto. El punto de referencia estándar para la generación de texto a movimiento. MIT licenciado, construido en AMASS + HumanAct12.
14.616 mociones con 44.970 descripciones de texto. El punto de referencia estándar para la generación de movimientos en lenguaje.
MIT -- Open NPY + Lenguaje de movimiento de texto
Información clave
| Metric | Value |
|---|---|
| Motions | 14,616 unique motion sequences |
| Text descriptions | 44,970 (avg. ~3 per motion) |
| Source | AMASS motion capture + HumanAct12 |
| Representation | 263-dim feature vector per frame (joints, velocities, foot contact) |
| License | MIT |
| Benchmark models | MDM, MotionDiffuse, MoMask, T2M-GPT, ReMoDiffuse |
¿Qué es HumanML3D?
HumanML3D es el conjunto de datos estándar de referencia para la generación de texto a movimiento. Combina 14.616 secuencias de movimiento humano del archivo de captura de movimiento AMASS con 44.970 descripciones de lenguaje natural de origen masivo. Cada movimiento tiene aproximadamente 3 descripciones de texto escritas en inglés natural, como "una persona camina lentamente hacia adelante y luego gira a la izquierda" o "alguien salta en su lugar tres veces".
La representación de movimiento utiliza un vector de características de 263 dimensiones por marco que codifica las velocidades de raíz, posiciones artificiales, velocidades artificiales, rotaciones artificiales y etiquetas de contacto de pies. Esta representación compacta se ha convertido en el estándar de facto para la comunidad de investigación de texto a movimiento.
Relevancia para la robótica
Los modelos entrenados en HumanML3D permiten la generación de movimiento en condiciones de lenguaje para robots humanoides. En lugar de crear primitivos de movimiento a mano, los ingenieros pueden describir los comportamientos deseados en lenguaje natural y generar trayectorias candidatas. Estas trayectorias pueden luego ser retargetadas a realizaciones específicas de robots (Unitree G1, NVIDIA GR1, etc.) utilizando tuberías de retargeting estándar.
Acceso
[Descargar de GitHub]