Glossary(으)로 돌아가기
Transformer 아키텍처
자기주의(self-attention) 메커니즘을 기반으로 한 신경망 아키텍처로, 원래 NLP를 위해 설계되었지만 이제 모든 모달리티에서 지배적입니다. Transformer는 토큰 시퀀스를 병렬로 처리하며 모든 쌍 간의 주의를 계산합니다. 로봇공학에서 Transformer는 다음에 사용됩니다: 제어 정책 네트워크(decision transformer, ACT), 시각 인코더(ViT), 그리고 비전, 언어, 액션을 통합하는 VLA 모델.