Размер пакета
Количество примеров обучения, обработанных в одном проходе вперед-назад. Большие размеры пакетов обеспечивают более стабильные оценки градиентов, но требуют больше памяти и могут сходиться к более острым минимумам. В робототехническом обучении размеры пакетов часто ограничены памятью GPU, особенно при обучении на изображениях высокого разрешения. Накопление градиентов позволяет эффективно использовать большие пакеты на ограниченном оборудовании.







