חזרה לGlossary
קידוד מיקום
מנגנון המזריק מידע על מיקום טוקן לתשומות Transformer, מכיוון שself-attention הוא בלתי-משתנה לתמורה ולא יכול להבחין בין סדר טוקנים. קידודים סינוסואידליים ולמודים מוחלטים נפוצים; קידוד מיקום סיבובי (RoPE) הוא התקן המודרני. בלימוד רובוטי, קידודי מיקום גם מקודדים מיקום זמני בתוך רצפי פעולות.