Glossaryに戻る
勾配クリッピング
学習中に勾配の大きさを制限して、勾配爆発を防ぎ、最適化を安定させる手法。勾配ノルムは最大値（通常1.0～10.0）にクリップされる。勾配クリッピングはTransformer、RNN、および報酬分散が大きな勾配スパイクを引き起こす可能性のある強化学習の制御ポリシーの学習において標準的な手法である。
学習中に勾配の大きさを制限して、勾配爆発を防ぎ、最適化を安定させる手法。勾配ノルムは最大値（通常1.0～10.0）にクリップされる。勾配クリッピングはTransformer、RNN、および報酬分散が大きな勾配スパイクを引き起こす可能性のある強化学習の制御ポリシーの学習において標準的な手法である。