Pré-entraînement
Le pré-entraînement est la phase du développement du modèle au cours de laquelle un réseau de neurones est entraîné sur un ensemble de données large et diversifié avant l'ajustement fin spécifique à la tâche. Pour les modèles de fondation en robotique, le pré-entraînement peut se faire sur des données vision-langage à l'échelle d'Internet (images, vidéo, texte), des ensembles de données de robots multi-incarnations (Open X-Embodiment), des données de simulation synthétique, ou une combinaison. Le modèle pré-entraîné apprend des représentations générales riches d'objets, d'actions et de concepts qui se transfèrent aux tâches de robot en aval avec beaucoup moins de démonstrations qu'un entraînement à partir de zéro. Le pré-entraînement est le mécanisme derrière le succès des modèles VLA tels que RT-2, qui bénéficient du pré-entraînement à la fois robotique et à l'échelle d'Internet. Voir cela en pratique : nos évaluations en monde réel →