返回Glossary

余弦退火

MLTraining

一种学习率调度方法,在训练期间按余弦曲线将学习率从初始值逐渐降低至接近零。带有热重启的余弦退火(SGDR)定期重置学习率,有助于逃离局部最小值。它是训练视觉Transformer和许多机器人学习模型的默认调度方法。

Related terms