Volver a Glossary
Función de Activación
Una función no lineal aplicada elemento a elemento a la salida de una capa de red neuronal. Las activaciones comunes incluyen ReLU, GELU, sigmoid, tanh y SiLU/Swish. La elección de la función de activación afecta la dinámica del entrenamiento, el flujo de gradientes y la capacidad representacional. GELU es estándar en Transformers; ReLU y sus variantes dominan las arquitecturas convolucionales.