Retour à Glossary
Fonction d'activation
Une fonction non-linéaire appliquée élément par élément à la sortie d'une couche de réseau de neurones. Les activations courantes incluent ReLU, GELU, sigmoid, tanh et SiLU/Swish. Le choix de l'activation affecte la dynamique d'entraînement, le flux de gradient et la capacité de représentation. GELU est standard dans les Transformers ; ReLU et ses variantes dominent les architectures convolutives.