Open X-Embodiment : qu'est-ce que c'est et pourquoi c'est important pour l'apprentissage des robots

Qu’est-ce que l’Open X-Embodiment ?

Open X-Embodiment est un ensemble de données unifié de démonstrations de manipulation de robots collectées dans plus de 22 modes de réalisation différents de robots – couvrant les bras de Franka, WidowX, UR5, Kuka et autres – et dans des dizaines de laboratoires de recherche dans le monde. L'ensemble de données totalise plus d'un million d'épisodes couvrant des centaines de tâches de manipulation distinctes : choisir, placer, ouvrir des tiroirs, verser des liquides, essuyer des surfaces, etc.

Le « X » dans le nom signifie « incarnation croisée » : l'ambition déterminante d'OXE est de former des politiques qui transfèrent les connaissances entre les corps des robots. Une politique pré-entraînée sur l'ensemble de données OXE complet a observé le comportement de manipulation d'un large éventail de géométries de bras, de types de pinces, de configurations de caméras et de domaines de tâches, ce qui lui confère un riche préalable qui peut être affiné pour un nouveau robot avec beaucoup moins de démonstrations qu'une formation à partir de zéro.

Institutions participantes et composition des ensembles de données

Les institutions participantes incluent Stanford, UC Berkeley, Google DeepMind, Carnegie Mellon, MIT, ETH Zurich et bien d'autres. Chaque laboratoire a fourni ses ensembles de données de démonstration existants dans un format standardisé. L'ensemble de données est hébergé sur Google Cloud Storage et est disponible gratuitement à des fins de recherche. La taille des sous-ensembles de données varie considérablement : certains laboratoires ont contribué à des dizaines de milliers d'épisodes, d'autres à quelques centaines. La répartition des tâches est orientée vers le placement sur table, reflétant la configuration expérimentale la plus courante, mais la diversité des objets, des conditions d'éclairage et des configurations de bras est véritablement large.

Le Robotics Transformer 2 (RT-2) et les modèles ultérieurs de Google ont été formés sur les données OXE et ont démontré que la pré-formation multi-incarnations produit des politiques avec une généralisation du tir zéro significativement meilleure que la formation sur un seul robot. Ce résultat a validé l’hypothèse principale d’OXE et accéléré l’adoption d’ensembles de données inter-incarnations dans tout le domaine.

Format de l'ensemble de données et RLDS

OXE utilise le format RLDS (Robot Learning Dataset Spécification), un schéma basé sur TensorFlow Datasets pour stocker les trajectoires des robots. Chaque épisode dans RLDS est une séquence d'étapes, où chaque étape contient un dictionnaire d'observation (images, états des articulations, état de la pince), un vecteur d'action, un signal de récompense et une annotation linguistique décrivant la tâche. Le schéma est suffisamment flexible pour s'adapter à différentes modalités d'observation et espaces d'action à travers les modes de réalisation.

Travailler avec RLDS nécessite TensorFlow ou la bibliothèque rlds_creator. LeRobot de Hugging Face fournit des utilitaires de conversion pour transformer les données OXE dans son propre format, les rendant accessibles aux chercheurs qui préfèrent PyTorch. Les SVRC plateforme de données exporte des ensembles de données dans un format compatible avec RLDS et LeRobot, permettant une contribution simple aux futures versions d'OXE.

Comment contribuer à OXE

Pour contribuer à votre ensemble de données à OXE, vous devez formater vos démonstrations dans RLDS, ajouter des annotations de langage par étape et soumettre une pull request au référentiel OXE GitHub avec la documentation de votre ensemble de données. Le processus de soumission comprend un examen de la qualité des données et de la conformité du format. Si vos démonstrations ont été collectées avec les services de données SVRC, la plateforme peut générer des exportations compatibles RLDS avec des métadonnées standardisées, simplifiant considérablement le processus de contribution. Contactez le L'équipe SVRC pour obtenir des conseils sur la préparation de vos données pour la soumission OXE.

Utiliser OXE pour la pré-formation

L'utilisation la plus utile d'OXE en pratique est celle d'un ensemble de données de pré-formation. Téléchargez un sous-ensemble d'OXE pertinent pour votre domaine de tâches et votre robot, formez une structure politique générale, puis affinez vos propres démonstrations spécifiques à des tâches. Cette approche nécessite systématiquement moins de démonstrations spécifiques à des tâches qu'une formation à partir de zéro (souvent 5 à 10 fois moins) tout en permettant d'obtenir des performances finales plus élevées.

La pré-formation sur OXE est plus bénéfique lorsque vos données de réglage fin sont limitées (moins de 100 épisodes), lorsque vos tâches sont conceptuellement similaires aux tâches dans OXE et lorsque vous utilisez une architecture conçue pour le transfert entre incarnations telle qu'Octo, OpenVLA ou RT-2-X. Le réglage fin spécifique à une tâche à partir de zéro reste compétitif lorsque vous disposez de nombreuses démonstrations de haute qualité collectées dans les conditions de déploiement.

Compatibilité SVRC et comment nous aidons

La norme de collecte de données du SVRC est conçue pour être compatible avec OXE dès le départ : placement standardisé des caméras, schéma d'annotation cohérent, étiquetage de réussite contrôlé par la qualité et exportation prête pour le RLDS. Données collectées via SVRC services de données peut être utilisé directement pour le réglage fin d'OXE ou contribué aux futures versions de jeux de données. Pour les équipes qui souhaitent exploiter les modèles pré-entraînés OXE sur leur matériel spécifique, SVRC propose une assistance technique pour configurer le pipeline de réglage fin et évaluer les politiques prêtes au déploiement.