Glossary(으)로 돌아가기
멀티헤드 어텐션
서로 다른 학습된 투영을 사용하여 여러 어텐션 연산을 병렬로 실행한 후 출력을 연결하는 어텐션 메커니즘입니다. 멀티헤드 어텐션은 모델이 위치, 색상, 형태 등 다양한 유형의 정보에 동시에 주의를 기울일 수 있게 합니다. 이는 VLA와 제어 정책 Transformer에 사용되는 Transformer 아키텍처의 핵심 계산 단위입니다.
서로 다른 학습된 투영을 사용하여 여러 어텐션 연산을 병렬로 실행한 후 출력을 연결하는 어텐션 메커니즘입니다. 멀티헤드 어텐션은 모델이 위치, 색상, 형태 등 다양한 유형의 정보에 동시에 주의를 기울일 수 있게 합니다. 이는 VLA와 제어 정책 Transformer에 사용되는 Transformer 아키텍처의 핵심 계산 단위입니다.