العودة إلى Glossary
دالة التفعيل
دالة غير خطية تُطبّق عنصراً تلو الآخر على مخرجات طبقة الشبكة العصبية. تشمل التفعيلات الشائعة ReLU و GELU و sigmoid و tanh و SiLU/Swish. يؤثر اختيار التفعيل على ديناميكيات التدريب وتدفق التدرجات والقدرة التمثيلية. GELU هو المعيار في Transformer؛ ReLU ومتغيراته يهيمنان على البنى الالتفافية.