חזרה לGlossary
פונקציית הפעלה
פונקציה לא-ליניארית המיושמת אלמנט-אלמנט על פלט של שכבת רשת עצבית. הפעלות נפוצות כוללות ReLU, GELU, sigmoid, tanh ו-SiLU/Swish. בחירת הפעלה משפיעה על דינמיקת ההדרכה, זרימת גרדיאנט וקיבולת ייצוג. GELU הוא תקן ב-Transformers; ReLU וגרסאותיו שולטות בארכיטקטורות קונבולוציוניות.