Занятие 1
📄 Презентация • 📜 Лонгрид • 📝 Заметки • 👷♂️ Seminar
📄 Презентация (CU) • 👷♂️ Seminar (CU) • 📄 Презентация (CU. Магистратура) • 👷♂️ Seminar (CU. Магистратура)
Вспоминаем линейную алгебру. Некоторые матричные разложения. Скорость сходимости.
Занятие 2
📄 Презентация • 📜 Лонгрид • 📝 Заметки • 👷♂️ Seminar
📄 Презентация (CU) • 👷♂️ Seminar (CU) • 📄 Презентация (CU. Магистратура) • 👷♂️ Seminar (CU. Магистратура)
Одномерная оптимизация. Неточная одномерная оптимизация. Градиент. Гессиан. Матрично-векторное дифференцирование.
Занятие 3
📄 Презентация • 📜 Лонгрид • 📝 Заметки • 👷♂️ Seminar
📄 Презентация (CU) • 👷♂️ Seminar (CU) • 📄 Презентация (CU. Магистратура) • 👷♂️ Seminar (CU. Магистратура)
Автоматическое дифференцирование. Вычислительный граф.
Занятие 4
📄 Презентация • 📜 Лонгрид • 📝 Заметки • 👷♂️ Seminar
📄 Презентация (CU) • 👷♂️ Seminar (CU) • 📄 Презентация (CU. Магистратура) • 👷♂️ Seminar (CU. Магистратура)
Выпуклость. Выпуклые множества. Выпуклые функции. Неравенство Йенсена. Сильно выпуклые функции. Условие Поляка - Лоясиевича. Минимумы линейных нейронных сетей.
Занятие 5
📄 Презентация • 📜 Лонгрид • 📝 Заметки • 👷♂️ Seminar
📄 Презентация (CU) • 👷♂️ Seminar (CU) • 📄 Презентация (CU. Магистратура) • 👷♂️ Seminar (CU. Магистратура)
Условия оптимальности. Функция Лагранжа. Задачи с ограничениями-равенствами. Задачи с ограничениями-равенствами. Теорема Каруша - Куна - Таккера.
Занятие 6
📄 Презентация • 📜 Лонгрид • 📝 Заметки • 👷♂️ Seminar
📄 Презентация (CU) • 👷♂️ Seminar (CU) • 📄 Презентация (CU. Магистратура) • 👷♂️ Seminar (CU. Магистратура)
Задача линейного программирования. Симплекс метод.
Занятие 7
📄 Презентация • 📜 Лонгрид • 📝 Заметки • 👷♂️ Seminar
📄 Презентация (CU) • 👷♂️ Seminar (CU) • 📄 Презентация (CU. Магистратура) • 👷♂️ Seminar (CU. Магистратура)
Введение в градиентный спуск.
Занятие 8
📄 Презентация • 📜 Лонгрид • 📝 Заметки • 👷♂️ Seminar
📄 Презентация (CU) • 👷♂️ Seminar (CU) • 📄 Презентация (CU. Магистратура) • 👷♂️ Seminar (CU. Магистратура)
Теоремы сходимости в гладком случае (выпуклые, сильно выпуклые, PL). Верхние и нижние оценки сходимости.
Занятие 8.1
📄 Презентация (CU. Магистратура)
Повторение пройденого материала. Ответы на вопросы (Магистратура)
Занятие 9
📄 Презентация • 📜 Лонгрид • 📝 Заметки • 👷♂️ Seminar
📄 Презентация (CU) • 👷♂️ Seminar (CU) • 📄 Презентация (CU. Магистратура) • 👷♂️ Seminar (CU. Магистратура)
Ускоренные градиентные методы. Идея метода сопряженных градиентов.
Занятие 10
📄 Презентация • 📜 Лонгрид • 📝 Заметки • 👷♂️ Seminar
📄 Презентация (CU) • 👷♂️ Seminar (CU) • 📄 Презентация (CU. Магистратура) • 👷♂️ Seminar (CU. Магистратура)
Метод Ньютона. Квазиньютоновские методы.
Занятие 11
📄 Презентация • 📜 Лонгрид • 📝 Заметки • 👷♂️ Seminar
📄 Презентация (CU) • 👷♂️ Seminar (CU) • 📄 Презентация (CU. Магистратура) • 👷♂️ Seminar (CU. Магистратура)
Градиентные методы в условных задачах оптимизации - метод проекции градиента. Метод Франк - Вульфа.
Занятие 12
📄 Презентация • 📜 Лонгрид • 📝 Заметки • 👷♂️ Seminar
📄 Презентация (CU) • 👷♂️ Seminar (CU) • 📄 Презентация (CU. Магистратура) • 👷♂️ Seminar (CU. Магистратура)
Субградиент. Субдифференциал. Субградиентный спуск. Теоремы сходимости в негладком случае. Особенности работы градиентного метода в практических негладких задачах.
Занятие 13
📄 Презентация • 📜 Лонгрид • 📝 Заметки • 👷♂️ Seminar
📄 Презентация (CU) • 👷♂️ Seminar (CU)
Стохастический градиентный спуск.
Занятие 13.1
📄 Презентация • 📜 Лонгрид • 👷♂️ Seminar
📄 Презентация (CU. Магистратура) • 👷♂️ Seminar (CU. Магистратура)
Стохастический градиентный спуск. Адаптивные методы. Оптимизация нейронных сетей (Магистратура)
Занятие 14
📄 Презентация • 📜 Лонгрид • 📝 Заметки • 👷♂️ Seminar
📄 Презентация (CU) • 👷♂️ Seminar (CU)
Оптимизация для обучения нейронных сетей