العودة إلى Glossary
آلية الانتباه
مكون شبكة عصبية يحسب مجموعات مرجحة من متجهات القيمة بناءً على التوافق بين متجهات الاستعلام والمفتاح. يسمح الانتباه الذاتي (المستخدم في Transformers) لكل موضع في تسلسل بالانتباه إلى جميع المواضع الأخرى، مما يلتقط التبعيات بعيدة المدى. يتيح الانتباه المتقاطع لتسلسل واحد الانتباه إلى تسلسل آخر (مثل رموز اللغة الانتباه إلى الميزات البصرية).