Retour à Glossary
Écrêtage de gradient
Limitation de l'amplitude des gradients pendant l'entraînement pour éviter les gradients explosifs qui peuvent déstabiliser l'optimisation. Les normes de gradient sont écrêtées à une valeur maximale (généralement 1,0–10,0). L'écrêtage de gradient est une pratique standard pour l'entraînement des Transformers, RNN, et des politiques de contrôle en RL où la variance des récompenses peut causer des pics de gradient importants.