Назад к Glossary
Стохастический градиентный спуск
Итеративный алгоритм оптимизации, обновляющий параметры модели с использованием градиентов, вычисленных на случайных мини-батчах данных. SGD является основой обучения глубоких нейронных сетей. Модификации с импульсом, адаптивной скоростью обучения (Adam, RMSProp) и расписанием скорости обучения улучшают сходимость. В робототехническом обучении мини-батч градиентный спуск на наборах демонстраций обучает политики имитационного обучения.