Volver a Glossary
Recorte de Gradientes
Limitar la magnitud de los gradientes durante el entrenamiento para evitar gradientes explosivos que puedan desestabilizar la optimización. Las normas de gradiente se recortan a un valor máximo (típicamente 1.0–10.0). El recorte de gradientes es práctica estándar para entrenar Transformers, RNN y políticas de control de RL donde la varianza de recompensa puede causar picos de gradiente grandes.