Retour à Glossary
Mécanisme d'attention
Un composant de réseau de neurones qui calcule des combinaisons pondérées de vecteurs de valeur en fonction de la compatibilité entre les vecteurs de requête et de clé. L'auto-attention (utilisée dans les Transformers) permet à chaque position d'une séquence d'accéder à toutes les autres positions, capturant les dépendances à longue portée. L'attention croisée permet à une séquence d'accéder à une autre (par exemple, les jetons de langage accédant aux caractéristiques visuelles).