返回Glossary

梯度裁剪

MLTraining

在训练期间限制梯度的幅度,以防止爆炸梯度导致优化不稳定。梯度范数被裁剪到最大值(通常为 1.0–10.0)。梯度裁剪是训练 Transformer、RNN 和强化学习策略的标准做法,其中奖励方差可能导致大的梯度尖峰。

Related terms