Распределенные методы использующие сжатые коммуникации для решения вариационных неравенств

Вариационные неравенства в целом и задача поиска седловой точки в частности становятся все более актуальными в различных областях машинного обучения, например, в состязательном обучении, GAN и робастной оптимизации. С увеличением объема данных и размера задач, все чаще приходится полагаться на параллельные и распределенные вычисления. Однако в распределенном обучении связь между вычислительными узлами является ключевым узким местом. В связи с этим важно усовершенствовать существующие методы техниками, которые позволили бы уменьшить объем передаваемой информации. В данном докладе пойдет речь о первых теоретически обоснованных распределенных методах решения вариационных неравенств и седловых задач с использованием сжатых коммуникаций. Алгоритмы называются MASHA1 и MASHA2. Данные методы позволяют использовать как несмещенные (такие как RandK; MASHA1), так и смещенные (такие как TopK; MASHA2) операторы сжатия. Новые алгоритмы поддерживают двунаправленное сжатие, а также могут быть модифицированы для стохастических задач и задач федеративного обучения с частичным участием клиентов.