Retour à Glossary
Taux d'apprentissage
La taille du pas utilisée par la descente de gradient pour mettre à jour les paramètres du modèle. Un taux trop élevé cause la divergence ; un taux trop faible cause une convergence lente. L'ordonnancement du taux d'apprentissage (warmup + decay) est critique pour un entraînement stable. Taux d'apprentissage initiaux typiques : 1e-4 pour l'ajustement fin de modèles pré-entraînés, 3e-4 pour l'entraînement à partir de zéro avec Adam. Le taux d'apprentissage est souvent l'hyperparamètre le plus important à ajuster.