Algorithm for Efficient Entropy Estimation

Рассматривается задача непараметрического оценивания энтропии стационарного эргодического процесса. Применяется подход, основанный на нахождении расстояний до ближайших точек. Предложен довольно большой класс метрик на пространстве $\Omega = A^{\mathbb{N}}$ правосторонних бесконечных последовательностей над конечным алфавитом $A$. Новая метрика имеет параметр — невозрастающую функцию. Доказано, что при некоторых ограничениях предлагаемая оценка имеет малую дисперсию. Показано, что специальный выбор параметров позволяет уменьшить смещение. Описан алгоритм для выбора таких параметров. Статья публикуется в авторской редакции.