חזרה לGlossary
תשומת לב רב-ראשית
מנגנון תשומת לב המפעיל מספר פעולות תשומת לב במקביל, כל אחת עם הטלות שנלמדו שונות, ואז משרשר את הפלטים שלהן. תשומת לב רב-ראשית מאפשרת למודל להתייחס לסוגים שונים של מידע (מיקום, צבע, צורה) בו-זמנית. זהו הפרימיטיב החישובי הליבה של ארכיטקטורות Transformer המשמשות ב-VLAs ובמדיניות Transformer.