חזרה לGlossary
מנגנון תשומת לב
רכיב רשת עצבית המחשב שילובים משוקללים של וקטורי ערך בהתאם לתאימות בין וקטורי שאילתה ומפתח. תשומת לב עצמית (המשמשת ב-Transformers) מאפשרת לכל מיקום בסדרה להתמקד בכל המיקומים האחרים, תוך לכידת תלויות טווח ארוך. תשומת לב צולבת מאפשרת לסדרה אחת להתמקד בסדרה אחרת (למשל, אסימוני שפה המתמקדים בתכונות ויזואליות).