Glossaryに戻る
逆伝播
出力から入力へ層ごとに連鎖律を適用することで、損失関数のニューラルネットワークパラメータに対する勾配を計算するアルゴリズム。逆伝播は深いネットワークの勾配ベース最適化を可能にします。順伝播中に中間活性化を保存する必要があり、これが訓練中のメモリ消費を支配します。
出力から入力へ層ごとに連鎖律を適用することで、損失関数のニューラルネットワークパラメータに対する勾配を計算するアルゴリズム。逆伝播は深いネットワークの勾配ベース最適化を可能にします。順伝播中に中間活性化を保存する必要があり、これが訓練中のメモリ消費を支配します。