Теорема Колмогорова и нейронные сети

Теорема Колмогорова показывает, что любую непрерывную функцию нескольких переменных можно выразить с помощью непрерывных функций одной переменной и операции сложения. Этот результат, как и его более ранний вариант, полученный В. И. Арнольдом, является решением “непрерывной” версии 13-й проблемы Гильберта. Идеи, связанные с этой теоремой, в некоторых случаях используются в теоретических работах по аппроксимации функций нейронными сетями.
В частности, существуют “сверхвыразительные” нейронные сети, которые имеют конечную архитектурную сложность, но могут аппроксимировать любую непрерывную функцию. Теорема Колмогорова позволяет из сверхвыразительной сети для функций одной переменной сконструировать сверхвыразительные сети для функций любого числа переменных (хотя это можно сделать и иными способами, без теоремы Колмогорова). В целом, теорему Колмогорова и результаты о сверхвыразительных сетях объединяет идея замены (или аппроксимации) многомерных (или бесконечномерных) объектов маломерными. Тематика сверхвыразительных сетей также связана с исследованиями пфаффовых и алгебраически-трансцендентных функций, а также топологическими результатами типа теоремы Борсука-Улама. Однако, в данном докладе не будет возможности глубоко углубиться в эти связи.