Назад к Glossary
Отсечение градиентов
Ограничение величины градиентов во время обучения для предотвращения взрывающихся градиентов, которые могут дестабилизировать оптимизацию. Нормы градиентов обрезаются до максимального значения (обычно 1,0–10,0). Отсечение градиентов — стандартная практика при обучении трансформеров, рекуррентных нейронных сетей и управляющих политик, где дисперсия вознаграждения может вызвать большие скачки градиентов.