Zurück zu Glossary
Rückwärtspropagation
Der Algorithmus zur Berechnung von Gradienten einer Verlustfunktion in Bezug auf neuronale Netzwerkparameter durch Anwendung der Kettenregel Schicht für Schicht von der Ausgabe zur Eingabe. Rückwärtspropagation ermöglicht die gradientenbasierte Optimierung tiefer Netzwerke. Sie erfordert das Speichern von Zwischenaktivierungen während des Vorwärtsdurchlaufs, was den Speicherverbrauch während des Trainings dominiert.