Полная условная энтропия системы Y относительно X

График функции С(p) пропускной способности канала связи при m=4 представлен на рис.3.5

Рис.3.5. График функции C(p)

Эта функция максимальна при p=0, при вероятности . При p=1 .

Для дискретных каналов с помехами Шеннон дал вторую теорему.

2. Теорема Шеннона.

Пусть имеется источник информации X, энтропия которого в единицу времени равна H(X), и канал с пропускной способностью C. Если H(X)>C, то при любом кодировании передача сообщений без задержек и искажений невозможна. Если же H(X)<C, то любое достаточно длинное сообщение можно всегда закодировать так, что оно будет передано без задержек и искажений с вероятностью сколь угодно близкой к единице.