Нейросети. Варианты градиентного спуска.

Николенко. Варианты градиентного спуска.
Обучение нейронных сетей
https://logic.pdmi.ras.ru/~sergey/teaching/mlspsu20/41-graddescent2.pdf

МЕТОД МОМЕНТОВ
АДАПТИВНЫЕ МЕТОДЫ ГРАДИЕНТНОГО СПУСКА
ADAM, ADAMW И ДРУГИЕ ЖИВОТНЫЕ
SUPER-CONVERGENCE И AMSGRAD
РЕГУЛЯРИЗАЦИЯ В НЕЙРОННЫХ СЕТЯХ
ДРОПАУТ
ПРЕДОБУЧЕНИЕ БЕЗ УЧИТЕЛЯ
ИНИЦИАЛИЗАЦИЯ КСАВЬЕ