Соотношения для альтернативного определения количества информации при различных законах распределения

Рассмотрены недостатки дифференциальной энтропии Шеннона, предложена аль-тернативная мера информации, которая не обладает указанными недостатками, количественно выражается через интеграл Лебега–Стилтьеса и существует для математических моделей как непрерывных случайных величин (НСВ), так и для дискретных случайных величин (ДСВ) – количество информации Q. Приведено ее математическое описание, обоснованы преимущества предложенной меры информации перед энтропией Шеннона. Под задачей идентификации закона распределения случайной величины, как правило, понимают задачу выбора такой параметрической модели закона распределения вероятностей, которая наилучшим образом соответствует результатам экспериментальных наблюдений. Погрешности измерений как величины являются следствием влияния множества факторов, случайного и неслучайного характера, действующих постоянно или эпизодически. Однако истинный закон распределения, описывающий погрешности конкретной измерительной системы, останется неизвестным, несмотря на все попытки его идентифицировать. На основании данных измерений и теоретических соображений можно только подобрать вероятностную модель, которая в некотором смысле наилучшим образом приближает этот истинный закон. Если построенная модель адекватна, т. е. применяемые критерии не дают оснований для ее отклонения, то на основе данной модели можно вычислить все интересующие нас вероятностные характеристики случайной составляющей погрешности измерительного средства, которые будут отличаться от истинных значений только за счет неисключенной систематической (ненаблюдаемой или нерегистрируемой) составляющей погрешности измерений. Количество информации позволяет минимизировать погрешности при решении задач идентификации экспериментальных законов распределения ДСВ или НСВ. Введенная мера не зависит от числовых характеристик ДСВ или НСВ – математического ожидания, дисперсии, корреляционных моментов, эксцессов, вариации и т. п. Приведены результаты расчетов количества информации для различных законов распределения ДСВ и НСВ. В качестве примера рассмотрен расчет количества информации для дискретного закона Пуассона.