Аннотация:
Рассматривается рекуррентный метод построения агрегированной оценки на
конечном классе базовых решающих правил в задаче классификации. Оценка
приближенно минимизирует выпуклый функционал риска при ℓ1-ограничении.
Она задается стохастическим вариантом метода зеркального спуска, осуществляющего
спуск градиентного типа в двойственном пространстве с дополнительным
усреднением. Основной результат настоящей статьи – верхняя граница для
средней точности предложенного алгоритма, имеющая порядок C√(lnM)/t,
с явным выражением малого постоянного множителя C, где M – размерность
задачи, t – число наблюдений. Аналогичная граница получена и для более общей
постановки, охватывающей, в частности, модель регрессии при квадратичных
потерях.
Поступила в редакцию: 16.03.2005 После переработки: 26.07.2005
Образец цитирования:
А. Б. Юдицкий, А. В. Назин, А. Б. Цыбаков, Н. Ваятис, “Рекуррентное агрегирование
оценок методом зеркального спуска с усреднением”, Пробл. передачи информ., 41:4 (2005), 78–96; Problems Inform. Transmission, 41:4 (2005), 368–384
Письмо в редакцию А. Б. Юдицкий, А. В. Назин, А. Б. Цыбаков, Н. Ваятис Пробл. передачи информ., 2006, 42:3, 109
Эта публикация цитируется в следующих 64 статьяx:
A. V. Nazin, A. S. Poznyak, “Non-Quadratic Proxy Functions in Mirror Descent Method Applied to Designing of Robust Controllers for Nonlinear Dynamic Systems with Uncertainty”, Comput. Math. and Math. Phys., 64:4 (2024), 820
Mohammad Alkousa, Fedor Stonyakin, Asmaa Abdo, Mohammad Alcheikh, Communications in Computer and Information Science, 2239, Mathematical Optimization Theory and Operations Research: Recent Trends, 2024, 3
M. S. Alkousa, F. S. Stonyakin, A. M. Abdo, M. M. Alcheikh, “Mirror Descent Methods with a Weighting Scheme for Outputs for Optimization Problems with Functional Constraints”, Rus. J. Nonlin. Dyn., 20:5 (2024), 727–745
Anatoli Juditsky, Joon Kwon, Éric Moulines, “Unifying mirror descent and dual averaging”, Math. Program., 199:1-2 (2023), 793
Alexander Nazin, Hussain Alazki, Alexander Poznyak, “Robust Tracking as Constrained Optimization by Uncertain Dynamic Plant: Mirror Descent Method and ASG—Version of Integral Sliding Mode Control”, Mathematics, 11:19 (2023), 4112
Ayhan Ceyhan, Mubeen Ul Hassan, Goat Science - From Keeping to Precision Production, 2023
Dvurechensky P., Shtern Sh., Staudigl M., “First-Order Methods For Convex Optimization”, EURO J. Comput. Optim., 9 (2021), 100015
Kwon J., Lecue G., Lerasle M., “A Mom-Based Ensemble Method For Robustness, Subsampling and Hyperparameter Tuning”, Electron. J. Stat., 15:1 (2021), 1202–1227
Yuan G., Zhou Y., Wang L., Yang Q., “Stochastic Bigger Subspace Algorithms For Nonconvex Stochastic Optimization”, IEEE Access, 9 (2021), 119818–119829
Momeni M., Peyghami M.R., Tarzanagh D.A., “a New Stochastic Limited Memory Bfgs Algorithm”, J. Math. Ext., 14:3 (2020), 65–83
Jofre A., Thompson Ph., “on Variance Reduction For Stochastic Smooth Convex Optimization With Multiplicative Noise”, Math. Program., 174:1-2, SI (2019), 253–292
Terry A. Gipson, “Recent advances in breeding and genetics for dairy goats”, Asian-Australas J Anim Sci, 32:8 (2019), 1275
А. В. Назин, “Алгоритмы инерционного зеркального спуска в выпуклых задачах стохастической оптимизации”, Автомат. и телемех., 2018, № 1, 100–112; A. V. Nazin, “Algorithms of inertial mirror descent in convex problems of stochastic optimization”, Autom. Remote Control, 79:1 (2018), 78–88
Dalalyan A.S., Grappin E., Paris Q., “On the Exponentially Weighted Aggregate With the Laplace Prior”, Ann. Stat., 46:5 (2018), 2452–2478
Wang X., Ma Sh., Goldfarb D., Liu W., “Stochastic Quasi-Newton Method For Nonconvex Stochastic Optimization”, SIAM J. Optim., 27:2 (2017), 927–956
Alexander Nazin, Lecture Notes in Computer Science, 10684, Analytical and Computational Methods in Probability Theory, 2017, 376
А. В. Назин, А. А. Тремба, “Игровой алгоритм зеркального спуска в задаче робастного PageRank”, Автомат. и телемех., 2016, № 8, 105–124; A. V. Nazin, A. A. Tremba, “Saddle point mirror descent algorithm for the robust PageRank problem”, Autom. Remote Control, 77:8 (2016), 1403–1418
А. В. Гасников, А. А. Лагуновская, И. Н. Усманова, Ф. A. Федоренко, “Безградиентные прокc-методы с неточным оракулом для негладких задач выпуклой стохастической оптимизации на симплексе”, Автомат. и телемех., 2016, № 10, 57–77; A. V. Gasnikov, A. A. Lagunovskaya, I. N. Usmanova, F. A. Fedorenko, “Gradient-free proximal methods with inexact oracle for convex stochastic nonsmooth optimization problems on the simplex”, Autom. Remote Control, 77:11 (2016), 2018–2034
А. В. Гасников, Д. Ю. Дмитриев, “Об эффективных рандомизированных алгоритмах поиска вектора PageRank”, Ж. вычисл. матем. и матем. физ., 55:3 (2015), 355–371; A. V. Gasnikov, D. Yu. Dmitriev, “On efficient randomized algorithms for finding the PageRank vector”, Comput. Math. Math. Phys., 55:3 (2015), 349–365