Обобщенная теория децентрализованного стохастического градиентного спуска с изменяющейся топологией и локальными шагами

Методы децентрализованной стохастической оптимизации в последнее время привлекают к себе большое внимание, главным образом из-за их низкой стоимости итераций, локальности данных и их эффективности связи. В докладе будет представлен обобщенный метод, охватывающий большое разнообразие децентрализованных алгоритмов SGD, которые до сих пор требовали разной теории, имели разные приложения и которые были разработаны отдельно в различных сообществах. Мы обсудим основные свойства этого метода и поговорим про популярные алгоритмы, охватываемые нашим методом.