חזרה לGlossary
אתחול משקלים
האסטרטגיה להגדרת ערכים ראשוניים של פרמטרים של רשת עצבית לפני הדרכה. אתחול תקין (Xavier/Glorot, Kaiming/He) מבטיח שהפעלות וגרדיאנטים שומרים על גודל מתאים על פני שכבות בתחילת ההדרכה. אתחול גרוע יכול לגרום לגרדיאנטים נעלמים או מתפוצצים. אתחול מאומן מראש (ממודלים קרן) הוא סוג של transfer learning.