Назад к Glossary
Функция активации
Нелинейная функция, применяемая поэлементно к выходу слоя нейронной сети. Распространённые функции активации включают ReLU, GELU, sigmoid, tanh и SiLU/Swish. Выбор функции активации влияет на динамику обучения, распространение градиентов и представительную способность. GELU является стандартом в Transformer; ReLU и его варианты доминируют в сверточных архитектурах.