Zurück zu Glossary
Positionskodierung
Ein Mechanismus, der Informationen über die Token-Position in Transformer-Eingaben einfügt, da Self-Attention permutationsinvariant ist und die Token-Reihenfolge nicht unterscheiden kann. Sinusförmige und gelernte absolute Kodierungen sind verbreitet; Rotary Positional Encoding (RoPE) ist der moderne Standard. Im Roboter-Lernen kodieren Positionskodierungen auch die zeitliche Position innerhalb von Aktionssequenzen.