חזרה לGlossary
חיתוך גרדיאנט
הגבלת גודל הגרדיאנטים במהלך ההדרכה כדי למנוע גרדיאנטים מתפוצצים שיכולים לערער את האופטימיזציה. נורמות גרדיאנט מחותכות לערך מקסימלי (בדרך כלל 1.0–10.0). חיתוך גרדיאנט הוא פרקטיקה סטנדרטית להדרכת Transformers, RNNs, ומדיניות בקרה RL שבהם שונות התגמול יכולה לגרום לדפיקות גרדיאנט גדולות.