התפשטות לאחור
האלגוריתם לחישוב גרדיאנטים של פונקציית הפסד ביחס לפרמטרים של רשת נוירונים על ידי יישום כלל השרשרת שכבה אחר שכבה מפלט לקלט. התפשטות לאחור מאפשרת אופטימיזציה מבוססת גרדיאנט של רשתות עמוקות. היא דורשת אחסון של הפעלות ביניים במהלך המעבר קדימה, מה שדומיננטי בצריכת הזיכרון במהלך ההדרכה.







