Retour à Glossary
Codage positionnel
Un mécanisme qui injecte des informations sur la position des jetons dans les entrées du Transformer, car l'auto-attention est invariante par permutation et ne peut pas distinguer l'ordre des jetons. Les codages absolus sinusoïdaux et appris sont courants ; le codage positionnel rotatif (RoPE) est la norme moderne. Dans l'apprentissage robotique, les codages positionnels encodent également la position temporelle dans les séquences d'actions.