חזרה לGlossary
קצב למידה
גודל הצעד המשמש ירידה בגרדיאנט לעדכון פרמטרי מודל. גבוה מדי גורם לסטייה; נמוך מדי גורם להתכנסות איטית. תזמון קצב למידה (חימום + ריקבון) קריטי לאימון יציב. קצבי למידה ראשוניים טיפוסיים: 1e-4 לכיוונון עדין של מודלים מאומנים מראש, 3e-4 לאימון מאפס עם Adam. קצב הלמידה הוא לעתים קרובות ההיפרפרמטר החשוב ביותר לכיוונון.