Voltar para Glossary
Normalização em Lote
Uma técnica que normaliza entradas de camada no mini-lote para ter média zero e variância unitária, depois aplica uma transformação afim aprendida. A normalização em lote estabiliza o treinamento, permite taxas de aprendizado mais altas e atua como regularizador. É padrão em CNNs mas menos comum em Transformers, que tipicamente usam normalização de camada em seu lugar.