Voltar para Glossary
Codificação Posicional
Um mecanismo que injeta informações sobre a posição do token nas entradas do Transformer, já que a auto-atenção é invariante a permutações e não consegue distinguir a ordem dos tokens. Codificações absolutas sinusoidais e aprendidas são comuns; a codificação posicional rotativa (RoPE) é o padrão moderno. Na aprendizagem robótica, as codificações posicionais também codificam a posição temporal dentro de sequências de ação.