Glossary(으)로 돌아가기
활성화 함수
신경망 계층의 출력에 요소별로 적용되는 비선형 함수. 일반적인 활성화 함수로는 ReLU, GELU, sigmoid, tanh, SiLU/Swish 등이 있습니다. 활성화 함수의 선택은 학습 역학, 기울기 흐름, 표현 용량에 영향을 미칩니다. GELU는 Transformer의 표준이며, ReLU와 그 변형들은 합성곱 신경망 구조에서 지배적입니다.
신경망 계층의 출력에 요소별로 적용되는 비선형 함수. 일반적인 활성화 함수로는 ReLU, GELU, sigmoid, tanh, SiLU/Swish 등이 있습니다. 활성화 함수의 선택은 학습 역학, 기울기 흐름, 표현 용량에 영향을 미칩니다. GELU는 Transformer의 표준이며, ReLU와 그 변형들은 합성곱 신경망 구조에서 지배적입니다.