Назад к Glossary
Архитектура Transformer
Архитектура нейронной сети, основанная на механизмах самовнимания, первоначально разработанная для NLP, но теперь доминирующая во всех модальностях. Трансформеры обрабатывают последовательности токенов параллельно, вычисляя внимание между всеми парами. В робототехнике трансформеры используются для: сетей управления (decision transformer, ACT), визуальных кодировщиков (ViT) и VLA моделей, которые объединяют зрение, язык и действие.