Voltar para Glossary
Recorte de Gradiente
Limitação da magnitude dos gradientes durante o treinamento para evitar gradientes explosivos que podem desestabilizar a otimização. As normas de gradiente são recortadas para um valor máximo (tipicamente 1,0–10,0). O recorte de gradiente é prática padrão para treinamento de Transformers, RNNs e políticas de controle em RL, onde a variância de recompensa pode causar picos de gradiente grandes.