Glossary(으)로 돌아가기
어텐션 메커니즘
쿼리와 키 벡터 간의 호환성을 기반으로 값 벡터의 가중 조합을 계산하는 신경망 구성 요소. 셀프 어텐션(Transformer에서 사용됨)은 시퀀스의 각 위치가 다른 모든 위치에 주의를 기울일 수 있게 하여 장거리 의존성을 포착한다. 크로스 어텐션은 한 시퀀스가 다른 시퀀스에 주의를 기울일 수 있게 한다(예: 언어 토큰이 시각적 특징에 주의를 기울임).
쿼리와 키 벡터 간의 호환성을 기반으로 값 벡터의 가중 조합을 계산하는 신경망 구성 요소. 셀프 어텐션(Transformer에서 사용됨)은 시퀀스의 각 위치가 다른 모든 위치에 주의를 기울일 수 있게 하여 장거리 의존성을 포착한다. 크로스 어텐션은 한 시퀀스가 다른 시퀀스에 주의를 기울일 수 있게 한다(예: 언어 토큰이 시각적 특징에 주의를 기울임).