返回Glossary
激活函数
激活函数是应用于神经网络层输出的非线性函数，逐元素应用。常见的激活函数包括 ReLU、GELU、sigmoid、tanh 和 SiLU/Swish。激活函数的选择会影响训练动态、梯度流和表示能力。GELU 是 Transformer 的标准激活函数；ReLU 及其变体在卷积架构中占主导地位。
激活函数是应用于神经网络层输出的非线性函数，逐元素应用。常见的激活函数包括 ReLU、GELU、sigmoid、tanh 和 SiLU/Swish。激活函数的选择会影响训练动态、梯度流和表示能力。GELU 是 Transformer 的标准激活函数；ReLU 及其变体在卷积架构中占主导地位。