Назад к Glossary
Нормализация слоя
Метод нормализации, который нормализует по измерению признаков каждого отдельного образца (а не по пакету, как в нормализации пакета). Нормализация слоя является стандартом в архитектурах Transformer, потому что она работает одинаково во время обучения и вывода и обрабатывает переменные длины последовательностей. Она используется практически во всех VLA и моделях политик на основе Transformer.