Volver a Glossary
Tasa de Aprendizaje
El tamaño de paso utilizado por el descenso de gradiente para actualizar los parámetros del modelo. Una tasa muy alta causa divergencia; una tasa muy baja causa convergencia lenta. La programación de la tasa de aprendizaje (calentamiento + decaimiento) es crítica para el entrenamiento estable. Tasas de aprendizaje iniciales típicas: 1e-4 para ajuste fino de modelos preentrenados, 3e-4 para entrenamiento desde cero con Adam. La tasa de aprendizaje es a menudo el hiperparámetro más importante a ajustar.