Параллельные алгоритмы и оценки вероятностей больших уклонений в задачах стохастической выпуклой оптимизации

В этом коротком сообщении рассматриваются задачи выпуклой стохастической оптимизации при различных предположениях о свойствах стохастических субградиентов. Известно, что если вычислителю доступно значение целевой функции задачи, то можно параллельно вычислить несколько независимых приближений к решению задачи в терминах сходимости по математическому ожиданию. Выбрав приближение с наименьшим значением функции, можно контролировать вероятности больших уклонений невязки по значению функции. В данной работе рассматривается случай, когда значение целевой функции недоступно или требует большого объема вычислений. В предположении субгауссовости распределения стохастических субградиентов, а также в общем случае при умеренном уровне вероятности больших уклонений показано, что параллельное вычисление нескольких приближенных решений с последующим усреднением дает те же оценки вероятностей больших уклонений невязки по функции, что и вычисление одного приближенного решения, но с большим числом итераций. Тем самым в рассматриваемом случае параллельные вычисления позволяют получить решение того же качества, но за меньшее время.