Retour à Glossary
Normalisation par lot
Une technique qui normalise les entrées de couche sur le mini-lot pour avoir une moyenne nulle et une variance unitaire, puis applique une transformation affine apprise. La normalisation par lot stabilise l'entraînement, permet des taux d'apprentissage plus élevés et agit comme un régulariseur. Elle est standard dans les CNN mais moins courante dans les Transformers, qui utilisent généralement la normalisation de couche à la place.