Volver a Glossary
Codificación Posicional
Un mecanismo que inyecta información sobre la posición del token en las entradas del Transformer, ya que la autoatención es invariante a permutaciones y no puede distinguir el orden de los tokens. Las codificaciones sinusoidales y las codificaciones absolutas aprendidas son comunes; la codificación posicional rotatoria (RoPE) es el estándar moderno. En el aprendizaje robótico, las codificaciones posicionales también codifican la posición temporal dentro de secuencias de acciones.