Zurück zu Glossary
Batch-Normalisierung
Eine Technik, die Schichteingaben über den Mini-Batch normalisiert, um Mittelwert Null und Einheitsvarianz zu haben, und dann eine gelernte affine Transformation anwendet. Batch-Normalisierung stabilisiert das Training, ermöglicht höhere Lernraten und wirkt als Regularisierer. Sie ist Standard in CNNs, aber weniger verbreitet in Transformers, die typischerweise stattdessen Layer-Normalisierung verwenden.