返回Glossary

位置编码

MLTransformer

一种将令牌位置信息注入Transformer输入的机制,因为自注意力是排列不变的,无法区分令牌顺序。正弦和学习的绝对编码是常见的方法;旋转位置编码(RoPE)是现代标准。在机器人学习中,位置编码还可以编码动作序列内的时间位置。

Related terms