PeerReview4All: честный и статистически оптимальный алгоритм распределения статей по рецензентам

Ведущие конференции по машинному обучению ICML и NIPS испытывают экспоненциальный рост числа поданных статей. Для отбора лучших статей используется система peer review – каждая статья отправляется на рецензию нескольким ученым из смежных областей, а на основе этих рецензий принимается окончательной решение (публикация / отказ).
Несколько лет назад рецензенты для каждой статьи подбирались вручную, но сейчас это практически невозможно – на NIPS2018 было отправлено порядка 5000 статей. В нашей работе мы рассматриваем задачу автоматического распределения статей по рецензентам. Наша цель – алгоритм, который бы гарантировал честность и был оптимальным со статистической точки зрения. Критерием честности алгоритма мы считаем качество рецензентов для статьи, получившей худшее распределение. Мы предлагаем полиномиальный алгоритм PeerReview4All, основанный на итеративном поиске максимального потока в графе, который является приближенно честным. Кроме того, в рамках стандартной статистической модели мы показываем, что наш алгоритм распределения статей по рецензентам является около-оптимальным с точки зрения достижения основной цели peer review – отбора лучших статей. Наконец, мы предлагаем дизайн эксперимента, который позволяет объективно сравнить различные алгоритмы распределения статей.
На семинаре мы обсудим нашу работу и разберем техники, примененные нами для получения статистических результатов. Одна из них – построение нижней оценки для минимаксного риска, основанная на информационно-теоретическом неравенстве Фано, является мощным инструментом современной статистики и может быть интересна широкой аудитории.