मल्टी-हेड अटेंशन

एक अटेंशन मैकेनिज्म जो कई अटेंशन ऑपरेशन को समानांतर में चलाता है, प्रत्येक अलग-अलग सीखे गए प्रोजेक्शन के साथ, फिर उनके आउटपुट को जोड़ता है। मल्टी-हेड अटेंशन मॉडल को विभिन्न प्रकार की जानकारी (स्थिति, रंग, आकार) पर एक साथ ध्यान देने की अनुमति देता है। यह Transformer आर्किटेक्चर की मूल कम्प्यूटेशनल प्रिमिटिव है जिसका उपयोग VLA और policy transformers में किया जाता है।

Related terms