Retropropagação
O algoritmo para computar gradientes de uma função de perda em relação aos parâmetros da rede neural aplicando a regra da cadeia camada por camada da saída para a entrada. A retropropagação permite otimização baseada em gradientes de redes profundas. Ela requer armazenamento de ativações intermediárias durante a passagem direta, o que domina o consumo de memória durante o treinamento.







