Аннотация:
1. Какие градиентные методы переносятся на бесконечномерные гильбертовы (рефлексивные банаховы) пространства?
2. Задачи стохастической оптимизации в бесконечномерных пространствах и их связь с задачами статистической теории обучения (продолжение).
3. Model selection с помощью оптимальных (стохастических) градиентных методов с неточным оракулом.
4. Теорема Ляпунова о векторных мерах. Линеаризация.
5. Схема Милютина–Дубовицкого. Принцип максимума.
6. Дискретный принцип максимума.
7. Локальность. Выбор нормы. Обсуждение фиксации правого конца в задаче оптимального управления. Градиентный спуск с неточным оракулом для задач глобальной оптимизации в гильбертовых пространствах.
8. Быстрое автоматическое дифференцирование и оптимальное управление.
Литература:
- Halkin H. Liapounov’s theorem of the range of a vector measure and Pontryagin’s maximum principle // Arch. Rat. Mech. Anal. 1962. V. 10. P. 296–304.
- Левитин Е.С., Поляк Б.Т. Методы минимизации при наличии ограничений // ЖВМ и МФ. 1966. Т. 6. № 5. С. 787–823.
http://www.mathnet.ru/links/a3984d1f32d9fe4151737d0c0cebb26b/zvmmf7415.pdf
- Немировский А.С., Юдин Д.Б. Сложность задач и эффективность методов оптимизации. М.: Наука, 1979. http://www2.isye.gatech.edu/~nemirovs/Lect_EMCO.pdf
http://www.mathnet.ru/links/824ee32e9f3f72fa54101ad970ca23ba/zvmmf7415.pdf
- Алексеев В.М., Тихомиров В.М., Фомин С.В. Оптимальное управление. М.: Физматлит, 2005.
- Васильев Ф.П. Методы оптимизации. М.: МЦНМО, 2011.
- Sridharan K. Learning from an optimization viewpoint. PhD Thesis, Toyota Technological Institute at Chicago, 2011. http://ttic.uchicago.edu/~karthik/thesis.pdf
- Дмитрук А.В. Об условиях оптимальности в задачах на экстремум с ограничениями. Математический кружок МФТИ, 2013.
http://www.mathnet.ru/php/seminars.phtml?option_lang=rus&presentid=6752
- Евтушенко Ю.Г. Оптимизация и быстрое автоматическое дифференцирование. М.: ВЦ РАН, 2013. http://www.ccas.ru/personal/evtush/p/198.pdf
- Гасников А.В., Двуреченский П.Е., Камзолов Д.И. Градиентные и прямые методы с неточным оракулом для задач стохастической оптимизации // Динамика систем и процессы управления. Труды Международной конференции, посвящено 90-летию со дня рождения академика Н.Н. Красовского. Екатеринбург, 15 – 20 сентября 2014. Издательство: Институт математики и механики УрО РАН им. Н.Н. Красовского (Екатеринбург), 2015. С. 111–117. arXiv:1502.06259
- Spokoiny V., Willrich N. Bootstrap tuning in ordered model selection // e-print, 2015. arXiv:1507.05034