Glossaryに戻る
位置エンコーディング
自己注意が順列不変であり、トークンの順序を区別できないため、トークン位置に関する情報をTransformer入力に注入するメカニズム。正弦波および学習可能な絶対エンコーディングが一般的であり、回転位置エンコーディング（RoPE）が現代的な標準である。ロボット学習では、位置エンコーディングはアクション列内の時間的位置もエンコードする。
自己注意が順列不変であり、トークンの順序を区別できないため、トークン位置に関する情報をTransformer入力に注入するメカニズム。正弦波および学習可能な絶対エンコーディングが一般的であり、回転位置エンコーディング（RoPE）が現代的な標準である。ロボット学習では、位置エンコーディングはアクション列内の時間的位置もエンコードする。