Voltar para Glossary
Atenção Multi-Cabeça
Um mecanismo de atenção que executa múltiplas operações de atenção em paralelo, cada uma com projeções aprendidas diferentes, e concatena suas saídas. A atenção multi-cabeça permite que o modelo atenda a diferentes tipos de informação (posição, cor, forma) simultaneamente. É a primitiva computacional central das arquiteturas Transformer usadas em VLAs e políticas de controle baseadas em Transformer.