Glossary(으)로 돌아가기
위치 인코딩
자기 주의(self-attention)가 순열 불변이고 토큰 순서를 구별할 수 없기 때문에 Transformer 입력에 토큰 위치 정보를 주입하는 메커니즘입니다. 정현파 및 학습된 절대 인코딩이 일반적이며, 회전 위치 인코딩(RoPE)이 현대적 표준입니다. 로봇 학습에서 위치 인코딩은 또한 액션 시퀀스 내의 시간적 위치를 인코딩합니다.
자기 주의(self-attention)가 순열 불변이고 토큰 순서를 구별할 수 없기 때문에 Transformer 입력에 토큰 위치 정보를 주입하는 메커니즘입니다. 정현파 및 학습된 절대 인코딩이 일반적이며, 회전 위치 인코딩(RoPE)이 현대적 표준입니다. 로봇 학습에서 위치 인코딩은 또한 액션 시퀀스 내의 시간적 위치를 인코딩합니다.