返回Glossary

学习率

MLTraining

梯度下降用于更新模型参数的步长。过高会导致发散;过低会导致收敛缓慢。学习率调度(预热 + 衰减)对稳定训练至关重要。典型初始学习率:微调预训练模型为 1e-4,从零开始用 Adam 训练为 3e-4。学习率通常是最重要的超参数。

Related terms