Retour à Glossary
Architecture Transformer
Une architecture de réseau de neurones basée sur des mécanismes d'auto-attention, initialement conçue pour le traitement du langage naturel mais maintenant dominante dans toutes les modalités. Les Transformers traitent des séquences de tokens en parallèle, en calculant l'attention entre toutes les paires. En robotique, les Transformers sont utilisés pour : les réseaux de contrôle (decision transformer, ACT), les encodeurs visuels (ViT) et les modèles VLA qui unifient la vision, le langage et l'action.