Алгоритмы инерционного зеркального спуска в выпуклых задачах стохастической оптимизации

Рассматривается задача минимизации математического ожидания выпуклой функции потерь на заданном выпуклом компакте ${X\in\mathbb R^N}$. Предполагается, что оракул последовательно выдает стохастические субградиенты функции потерь в текущих точках с равномерно ограниченным вторым моментом. Цель состоит в модификации известного метода зеркального спуска, предложенного А. С. Немировским и Д. Б. Юдиным в 1979 г. и обобщающего стандартный градиентный метод. Для начала демонстрируется идея нового так называемого метода инерционного зеркального спуска (ИЗС) на примере детерминированной задачи оптимизации с непрерывным временем. В частности, в евклидовом случае реализуется метод тяжелого шарика; отмечается, что новый метод не использует дополнительного усреднения точек. Далее описывается дискретный алгоритм ИЗС; доказывается теорема о верхней границе на ошибку по целевой функции, т.е. на разницу текущего значения средних потерь и минимума.