Voltar para Glossary
Mecanismo de Atenção
Um componente de rede neural que computa combinações ponderadas de vetores de valor baseadas na compatibilidade entre vetores de consulta e chave. Auto-atenção (usada em Transformers) permite que cada posição em uma sequência atenda a todas as outras posições, capturando dependências de longo alcance. Atenção cruzada permite que uma sequência atenda a outra (por exemplo, tokens de linguagem atendendo a características visuais).