Некоторые математические аспекты современной распределенной оптимизации

Рассмотрим такую задачку: на лекции профессора была 200 студентов. Профессор предложил кадому студенту загадать число от нуля до единицы. Профессор хочет посчитать среднее арфиметическое всех чисел с точностью пяти знаков после запятой (в двоичной арифметике). Есть ли способ посчитать среднее арифметическое с такой точностью, получая от каждого студента меньше, чем 5 бит? Ответ оказывается удивительным — да, можно! Профессор может с высокой вероятностью оценить среднее арифметическое просто по 1 случайному биту, полученному от каждого студента. Но важно, чтобы этот бит каждый студент сгенерировал случайно, согласно загаданному числу, и независимо от остальных! Как объяснить математически этот результат? Как такой результат используется в обучении современных больших нейросетей? Вот об этом мы и поговорим в данной лекции.

Лекция предполагается доступной для 10–11 классников.