Назад к Glossary
Оптимизатор Adam
Алгоритм оптимизации с адаптивной скоростью обучения, который поддерживает оценки первого и второго моментов градиентов для каждого параметра. Adam объединяет преимущества AdaGrad (адаптивные скорости обучения для каждого параметра) и RMSProp (экспоненциальное скользящее среднее квадратов градиентов). Это оптимизатор по умолчанию для обучения большинства моделей робототехнического обучения, причём AdamW (развязанное затухание весов) является наиболее распространённым вариантом.