Назад к Glossary
Обратное распространение ошибки
Алгоритм вычисления градиентов функции потерь относительно параметров нейронной сети путем применения цепного правила слой за слоем от выхода к входу. Обратное распространение ошибки позволяет оптимизировать глубокие сети на основе градиентов. Оно требует сохранения промежуточных активаций во время прямого прохода, что доминирует в потреблении памяти во время обучения.