Retour à Glossary
Rétropropagation
L'algorithme de calcul des gradients d'une fonction de perte par rapport aux paramètres du réseau de neurones en appliquant la règle de la chaîne couche par couche de la sortie à l'entrée. La rétropropagation permet l'optimisation basée sur les gradients des réseaux profonds. Elle nécessite de stocker les activations intermédiaires pendant la passe avant, ce qui domine la consommation de mémoire pendant l'entraînement.