Glossaryに戻る
活性化関数
ニューラルネットワークの層の出力に要素ごとに適用される非線形関数。一般的な活性化関数にはReLU、GELU、シグモイド、tanh、SiLU/Swishなどがあります。活性化関数の選択は、学習ダイナミクス、勾配フロー、および表現能力に影響を与えます。GELUはTransformerの標準であり、ReLUおよびその変種は畳み込みアーキテクチャで支配的です。
ニューラルネットワークの層の出力に要素ごとに適用される非線形関数。一般的な活性化関数にはReLU、GELU、シグモイド、tanh、SiLU/Swishなどがあります。活性化関数の選択は、学習ダイナミクス、勾配フロー、および表現能力に影響を与えます。GELUはTransformerの標準であり、ReLUおよびその変種は畳み込みアーキテクチャで支配的です。