Retour à Glossary
Optimiseur Adam
Un algorithme d'optimisation à taux d'apprentissage adaptatif qui maintient des estimations du premier et du deuxième moment des gradients par paramètre. Adam combine les avantages d'AdaGrad (taux d'apprentissage par paramètre) et de RMSProp (moyenne mobile exponentielle des gradients au carré). C'est l'optimiseur par défaut pour l'entraînement de la plupart des modèles d'apprentissage robotique, AdamW (décorrélation de la régularisation) étant la variante la plus courante.