Zurück zu Glossary
Aufmerksamkeitsmechanismus
Eine neuronale Netzwerk-Komponente, die gewichtete Kombinationen von Wertvektoren basierend auf der Kompatibilität zwischen Abfrage- und Schlüsselvektoren berechnet. Self-Attention (verwendet in Transformers) ermöglicht es jeder Position in einer Sequenz, auf alle anderen Positionen zu achten und langfristige Abhängigkeiten zu erfassen. Cross-Attention ermöglicht es einer Sequenz, auf eine andere zu achten (z. B. Sprach-Token, die auf visuelle Merkmale achten).