Zurück zu Glossary
Gradient Clipping
Begrenzung der Größe von Gradienten während des Trainings, um explodierende Gradienten zu verhindern, die die Optimierung destabilisieren können. Gradient-Normen werden auf einen Maximalwert begrenzt (typischerweise 1,0–10,0). Gradient Clipping ist Standard-Praxis beim Training von Transformers, RNNs und RL-Kontrollrichtlinien, bei denen Reward-Varianz zu großen Gradient-Spitzen führen kann.