О решении выпуклых min-min задач с гладкостью и сильной выпуклостью по одной из групп переменных и малой размерностью другой

Статья посвящена некоторым подходам к решению выпуклых задач вида min-min с гладкостью и сильной выпуклостью только по одной из двух групп переменных. Показано, что предложенные подходы, основанные на методе Вайды, быстром градиентном методе и ускоренном градиентном методе с редукцией дисперсии, имеют линейную сходимость. Для решения внешней задачи предлагается использовать методы Вайды, для решения внутренней (гладкой и сильно выпуклой) — быстрый градиентный метод. Ввиду важности для приложений в машинном обучении отдельно рассмотрен случай, когда целевая функция является суммой большого числа функций. В этом случае вместо быстрого градиентного метода используется ускоренный градиентный метод с редукцией дисперсии. Приведены результаты численных экспериментов, иллюстрирующие преимущества предложенных процедур для задачи логистической регрессии, в которой есть априорное распределение на одну из двух групп переменных.