Назад к Glossary
Нормализация по мини-пакетам
Метод, который нормализует входы слоя по мини-пакету, чтобы иметь нулевое среднее и единичную дисперсию, затем применяет изученное аффинное преобразование. Нормализация по мини-пакетам стабилизирует обучение, позволяет использовать более высокие скорости обучения и действует как регуляризатор. Это стандарт в CNN, но менее распространено в трансформерах, которые обычно используют нормализацию слоя вместо этого.