सक्रियण फलन

एक अरैखिक फलन जो तंत्रिका नेटवर्क परत के आउटपुट पर तत्व-दर-तत्व लागू किया जाता है। सामान्य सक्रियण में ReLU, GELU, sigmoid, tanh, और SiLU/Swish शामिल हैं। सक्रियण की पसंद प्रशिक्षण गतिशीलता, प्रवणता प्रवाह, और प्रतिनिधित्वात्मक क्षमता को प्रभावित करती है। GELU Transformer में मानक है; ReLU और इसके वेरिएंट कनवोल्यूशनल आर्किटेक्चर में प्रभुत्व रखते हैं।

Related terms