О свойствах сходимости шенноновской энтропии

Изучаются свойства сходимости шенноновской энтропии. Известно, что слабая сходимость вероятностных мер (сходимость по распределению) недостаточна для сходимости соответствующих дифференциальных энтропий. В свете новых общих результатов о сходимости дифференциальных энтропий, представленных здесь и относящихся к плотностям как с компактными, так и с некомпактными носителями, приводится и обсуждается один интересный пример. Сходимость дифференциальных энтропий для плотностей с весьма общими носителями характеризуется также в терминах дивергенции Кульбака–Лейблера. Показано, что сходимость по вариации вероятностных мер гарантирует сходимость дифференциальных энтропий при подходящих условиях ограниченности для соответствующих плотностей. Результаты для дискретного случая, включая вероятностные меры с бесконечными носителями, получены с использованием свойства эквивалентности между слабой сходимостью и сходимостью по вариации в этом случае.