Zurück zu Glossary
Aktivierungsfunktion
Eine nichtlineare Funktion, die elementweise auf die Ausgabe einer Schicht eines neuronalen Netzes angewendet wird. Häufige Aktivierungen sind ReLU, GELU, Sigmoid, Tanh und SiLU/Swish. Die Wahl der Aktivierungsfunktion beeinflusst die Trainingsdynamik, den Gradientenfluss und die Darstellungskapazität. GELU ist Standard in Transformers; ReLU und seine Varianten dominieren Faltungsarchitekturen.