Glossary पर वापस जाएं
ध्यान तंत्र
एक तंत्रिका नेटवर्क घटक जो क्वेरी और कुंजी वेक्टर के बीच संगतता के आधार पर मूल्य वेक्टर के भारित संयोजन की गणना करता है। स्व-ध्यान (Transformer में उपयोग किया जाता है) एक अनुक्रम में प्रत्येक स्थिति को अन्य सभी स्थितियों पर ध्यान देने की अनुमति देता है, दीर्घ-श्रृंखला निर्भरताओं को पकड़ता है। क्रॉस-ध्यान एक अनुक्रम को दूसरे पर ध्यान देने सक्षम करता है (उदाहरण के लिए, भाषा टोकन दृश्य विशेषताओं पर ध्यान देते हैं)।