Типичность структуры хорошего кода при заданном искажении

Рассматривается хороший код для дискретного источника без памяти при заданном уровне искажения, определяемый как код, скорость которого близка к соответствующей скорости как функции искажения, и который с большой вероятностью воспроизводит источник с допустимым уровнем искажения. Мы показываем, что любой хороший код должен содержать экспоненциально большое число слов (задающее ту же скорость), являющихся типичными по отношению к распределению на выходе, индуцируемому оптимизирующим каналом для скорости как функции искажения. Кроме того, распределение на выходе, индуцируемое хорошим кодом, асимптотически сингулярно по отношению к распределению на выходе, являющемуся прямым произведением одинаковых распределений, индуцируемых оптимизирующим каналом для скорости как функции искажения. Однако, нормированная дивергенция Кульбака–Лейблера между этими распределениями на выходе сходится к условной энтропии выхода оптимизирующего канала для скорости как функции искажения.