Различные аспекты организации коммуникаций в распределённом и федеративном обучении

«Решение задачи распределённой оптимизации — неотъемлемая часть множества реальных прикладных проблем машинного обучения. В классическом варианте предполагается, что мы обучаем большую модель на огромной выборке данных, разделяя работу между набором вычислителей. В федеративной постановке мы уже живём в условиях, когда вычислители — это не абстрактные видеокарты на кластере, а локальные пользовательские устройства: телефоны, планшеты, ПК. Во всех постановках ключевую роль играет организация процесса коммуникации, при этом существует множество различных аспектов, которые нужно учесть. В рамках доклада я постараюсь затронуть основные из них. Мы поговорим о дифференциальной приватности и о том, как она связана с защитой пользовательской информации в процессе обучения, затронем вопрос эффективных коммуникаций и способы удешевления процесса общения для достижения более полной параллелизации обучения. Посмотрим и на сюжеты, связанные с асинхронными и устойчивыми к сбоям коммуникациям для достижения стабильности в организации обучения».