Taxa de Aprendizado

O tamanho do passo usado pela descida de gradiente para atualizar os parâmetros do modelo. Taxa muito alta causa divergência; taxa muito baixa causa convergência lenta. O agendamento da taxa de aprendizado (aquecimento + decaimento) é crítico para treinamento estável. Taxas de aprendizado iniciais típicas: 1e-4 para ajuste fino de modelos pré-treinados, 3e-4 para treinamento do zero com Adam. A taxa de aprendizado é frequentemente o hiperparâmetro mais importante a ser ajustado.

Related terms