Занятие 1
Вспоминаем линейную алгебру. Некоторые матричные разложения. Скорость сходимости.
Занятие 2
Одномерная оптимизация. Неточная одномерная оптимизация. Градиент. Гессиан. Матрично-векторное дифференцирование.
Занятие 3
Автоматическое дифференцирование. Вычислительный граф.
Занятие 4
Выпуклость. Выпуклые множества. Выпуклые функции. Неравенство Йенсена. Сильно выпуклые функции. Условие Поляка - Лоясиевича. Минимумы линейных нейронных сетей.
Занятие 5
Условия оптимальности. Функция Лагранжа. Задачи с ограничениями-равенствами. Задачи с ограничениями-равенствами. Теорема Каруша - Куна - Таккера.
Занятие 6
Двойственность.
Занятие 7
Задача линейного программирования. Симплекс метод.
Занятие 8
Градиентный спуск. Теоремы сходимости в гладком случае (выпуклые, сильно выпуклые, PL). Верхние и нижние оценки сходимости.
Занятие 9
Ускоренные градиентные методы. Метод Поляка, Нестерова.
Занятие 10
Метод сопряженных градиентов.
Занятие 11
Метод Ньютона. Квазиньютоновские методы.
Занятие 12
Градиентные методы в условных задачах оптимизации - метод проекции градиента. Метод Франк - Вульфа. Идея метода зеркального спуска.
Занятие 13
Субградиент. Субдифференциал. Субградиентный спуск. Теоремы сходимости в негладком случае. Особенности работы градиентного метода в практических негладких задачах.
Занятие 14
Проксимальный градиентный метод.
Занятие 15
Стохастический градиентный спуск.
Занятие 16
Методы редукции дисперсии: SAG, SVRG, SAGA. Адаптивные стохастические градиентные методы.
Занятие 17
Обучение нейронных сетей с точки зрения методов оптимизации. Обобщающая способность моделей машинного обучения. Double Descent. Grokking. Mode connectivity.
Занятие 18
Вопросы обучения больших моделей. Lars, Lamb. Learning rate schedulers. Warm-up. MultiGPU training.
Занятие 19
Введение в двойственные методы оптимизации. Метод двойственного градиентного подъёма. Метод модифицированной функции Лагранжа. ADMM.