В пособии рассматривается классический градиентный спуск. Однако изложение ведется на продвинутом уровне.

Пособие отличается довольно полным обзором современного состояния методов типа градиентного спуска.

В книге делается акцент не на изложение методов, а на способы получения из старых методов новых с помощью небольшого числа общих приемов.

Пособие используется для преподавания численных методов оптимизации студентам 3 курса школы ПМИ МФТИ и 3 курса ФКН ВШЭ.