Volver a Glossary
Mecanismo de Atención
Un componente de red neuronal que calcula combinaciones ponderadas de vectores de valor basadas en la compatibilidad entre vectores de consulta y clave. La auto-atención (utilizada en Transformers) permite que cada posición en una secuencia atienda a todas las otras posiciones, capturando dependencias de largo alcance. La atención cruzada permite que una secuencia atienda a otra (por ejemplo, tokens de lenguaje atendiendo a características visuales).