חזרה לGlossary
ארכיטקטורת Transformer
ארכיטקטורת רשת עצבית המבוססת על מנגנוני self-attention, שתוכננה במקור ל-NLP אך כעת דומיננטית על פני מודליות. Transformers מעבדים רצפים של טוקנים במקביל, מחשבים attention בין כל הזוגות. בروביוטיקה, Transformers משמשים ל: רשתות control policy (decision transformer, ACT), מקודדי ראייה (ViT), ומודלי VLA המאחדים ראייה, שפה ופעולה.