Назад к Glossary
Позиционное кодирование
Механизм, который внедряет информацию о позиции токена во входные данные трансформера, поскольку самовнимание инвариантно к перестановкам и не может различать порядок токенов. Синусоидальное и изученное абсолютное кодирование являются распространёнными; ротационное позиционное кодирование (RoPE) — современный стандарт. В обучении роботов позиционные кодирования также кодируют временную позицию в последовательностях действий.