返回Glossary

Adam 优化器

MLTraining

一种自适应学习率优化算法,维护每个参数的梯度一阶矩和二阶矩估计。Adam 结合了 AdaGrad(每参数学习率)和 RMSProp(梯度平方的指数移动平均)的优点。它是训练大多数机器人学习模型的默认优化器,其中 AdamW(解耦权重衰减)是最常见的变体。

Related terms