Обзор постановок оптимизационных задач машинного обучения

В последние годы всё более экзотические постановки задач возникают в машинном обучении. Мы уже не можем сказать, что машинное обучение – это в основном классификация, кластеризация, регрессия и восстановления плотности распределения по эмпирическим данным. Новые типы задач обучения – semi-supervised, transfer, representation, self-supervised, adversarial, privileged, meta, one-shot, few shot, positive-unlabeled, и другие, расширяют границы возможностей искусственного интеллекта. В основном они применяются вместе с новыми нейросетевыми архитектурами. Мало кто обращает внимание на то, что постановки этих задач более универсальны, и могут применяться к любым параметрическим моделям. Просто так совпало, что именно сейчас это нейронные сети. Главное остаётся незыблемым: задачи машинного обучения – это по-прежнему задачи оптимизации аддитивных критериев с большим числом слагаемых. В докладе даётся обзор постановок задач. Мы рассматриваем, каким образом можно менять смысл обучения, изменяя конструкцию слагаемых – параметрической модели данных, функции потерь или регуляризатора.