ירידת גרדיאנט סטוכסטית
אלגוריתם אופטימיזציה איטרטיבי המעדכן פרמטרים של מודל באמצעות גרדיאנטים המחושבים על מיני-אצוות אקראיות של נתונים. SGD הוא הבסיס של הדרכת למידה עמוקה. מומנטום, קצב למידה אדפטיבי (Adam, RMSProp), ותכניות תזמון קצב למידה משפרות התכנסות. בלימוד רובוטי, ירידת גרדיאנט מיני-אצוות על מערכי הדגמה מאמנים מדיניות למידת חיקוי.







