Назад к Glossary
Инициализация весов
Стратегия установки начальных значений параметров нейронной сети перед обучением. Правильная инициализация (Xavier/Glorot, Kaiming/He) обеспечивает, чтобы активации и градиенты сохраняли надлежащую величину во всех слоях в начале обучения. Плохая инициализация может привести к исчезновению или взрыву градиентов. Инициализация из предварительно обученных моделей (из фундаментальных моделей) является формой трансфера обучения.