Voltar para Glossary
Função de Ativação
Uma função não-linear aplicada elemento a elemento à saída de uma camada de rede neural. As ativações comuns incluem ReLU, GELU, sigmoid, tanh e SiLU/Swish. A escolha da ativação afeta a dinâmica de treinamento, o fluxo de gradientes e a capacidade representacional. GELU é padrão em Transformers; ReLU e suas variantes dominam arquiteturas convolucionais.