Glossary(으)로 돌아가기
학습률
경사하강법이 모델 파라미터를 업데이트할 때 사용하는 스텝 크기입니다. 너무 높으면 발산하고, 너무 낮으면 수렴이 느립니다. 학습률 스케줄링(워밍업 + 감소)은 안정적인 훈련에 중요합니다. 전형적인 초기 학습률: 사전훈련된 모델 미세조정에는 1e-4, 처음부터 훈련할 때는 Adam으로 3e-4. 학습률은 종종 조정해야 할 가장 중요한 하이퍼파라미터입니다.
경사하강법이 모델 파라미터를 업데이트할 때 사용하는 스텝 크기입니다. 너무 높으면 발산하고, 너무 낮으면 수렴이 느립니다. 학습률 스케줄링(워밍업 + 감소)은 안정적인 훈련에 중요합니다. 전형적인 초기 학습률: 사전훈련된 모델 미세조정에는 1e-4, 처음부터 훈련할 때는 Adam으로 3e-4. 학습률은 종종 조정해야 할 가장 중요한 하이퍼파라미터입니다.