Назад к Glossary
Скорость обучения
Размер шага, используемый градиентным спуском для обновления параметров модели. Слишком высокая вызывает расхождение; слишком низкая вызывает медленную сходимость. Расписание скорости обучения (разогрев + затухание) критично для стабильного обучения. Типичные начальные скорости обучения: 1e-4 для тонкой настройки предварительно обученных моделей, 3e-4 для обучения с нуля с Adam. Скорость обучения часто является наиболее важным гиперпараметром для настройки.