Glossaryに戻る
バッチ正規化
ミニバッチ全体でレイヤー入力を正規化して平均ゼロと単位分散を持つようにし、その後学習された線形変換を適用する技術。バッチ正規化は訓練を安定化し、より高い学習率を可能にし、正則化として機能します。CNNでは標準的ですが、Transformerではあまり一般的ではなく、通常はレイヤー正規化を使用します。
ミニバッチ全体でレイヤー入力を正規化して平均ゼロと単位分散を持つようにし、その後学習された線形変換を適用する技術。バッチ正規化は訓練を安定化し、より高い学習率を可能にし、正則化として機能します。CNNでは標準的ですが、Transformerではあまり一般的ではなく、通常はレイヤー正規化を使用します。