Назад к Glossary
Многоголовое внимание
Механизм внимания, который запускает несколько операций внимания параллельно, каждая с различными изученными проекциями, а затем объединяет их выходы. Многоголовое внимание позволяет модели одновременно обращать внимание на различные типы информации (позиция, цвет, форма). Это основной вычислительный примитив архитектур Transformer, используемых в VLA и трансформерах управления.