Zurück zu Glossary
Transformer-Architektur
Eine neuronale Netzwerk-Architektur basierend auf Self-Attention-Mechanismen, ursprünglich für NLP entwickelt, aber jetzt dominant über alle Modalitäten hinweg. Transformer verarbeiten Token-Sequenzen parallel und berechnen Aufmerksamkeit zwischen allen Paaren. In der Robotik werden Transformer verwendet für: Kontrollrichtlinien-Netzwerke (Decision Transformer, ACT), visuelle Encoder (ViT) und VLA-Modelle, die Vision, Sprache und Aktion vereinheitlichen.