Количество информации и пропускная способность системы связи

Предположим, что осуществляется передача словесного текста, с помощью которого сообщаются некоторые сведения о какой-либо ситуации. Допустим, что для этой цели имеется всего два слова: «хорошо» и «плохо» [2]. Ясно, что оценка ситуации при этих условиях будет весьма общей и неточной, т.е. сведений о ситуации будет получено недостаточно. При наличии большого числа слов, позволяющих передать детали сообщаемой ситуации, те же самые слова «хорошо» и «плохо», входящие в состав данного набора слов, будут уже гораздо точнее выражать смысл сообщения.

Оценивая различные слова как возможные элементы сообщения, видно, что количество информации, содержащейся в словесном тексте, зависит не только от числа слов, составляющих этот текст, но и от количества букв в алфавите, из которого набираются слова для данного текста. Количество информации, определяемое по Р. Хартли, есть логарифм полного числа элементов любого конечного множества:

I = R In N,

где R - коэффициент пропорциональности (при R = 1 используются нату­ральные единицы измерения; при R = 1/ ln 2 - двоичные единицы; при R = 1/ ln 10 - десятичные).

Сообщение состоит, как правило, из многих элементов. Обозначим число символов (число букв в алфавите) через т, а количество элементов в сообщении (используемых букв в словах) через п. Для формирования сообщения из m элементов число различных комбинаций этих элементов N = тⁿ, что и определяет число возможных сообщений длиной п, составленных из т элементов. В технике связи это количество комбинаций называют кодовым замком. Для подсчета необходимого количества символов для передачи сообщения и определения комбинаторного количества информации можно использовать эти формулы.

Например, для простейшей ситуации, когда сообщение представляет собой один символ, обусловленный выбором одного из двух возможных «Да» или «Нет», т.е. когда n = 1 и m = 2, можно записать

I = log₂ N = log₂ тⁿ= log₂2, бит.

Обычно принято выражать количество информации двоичным лога­рифмом числа N. Тогда количество информации в сообщении можно представить выражением

I = log₂ N = log₂ тⁿ= n log₂ m, бит.

Следовательно, каждая посылка двоичного кода несет одну единицу количества информации.

Для случая, когда сигнал представляет собой последовательность мо­дулированных по высоте импульсов со скважностью, равной единице, а число ступеней шкалы уровней сигнала равно m и все импульсы равновероятны, количество информации

I = log₂ N = n log₂ т,

где n - число элементов в сообщении.

Стандартные телефонные каналы относятся к среднескоростным каналам и ориентированы на передачу аналоговых сигналов с относительно узким частотным спектром (от 100 Гц до 10 кГц). Следует отметить, что частотные характеристики канала передачи оказывают существенное влияние на максимально допустимую скорость передачи информации V_max. Еще в 1924 г. Гарри Найквист объяснил существование этого основного ограничения и вывел уравнение, выражающее максимальную скорость передачи данных в конечном аналоговом канале (без шумов). Если сигнал состоит из К дискретных уровней, то теорема Найквиста гласит:

V_max = 2 Н log₂ К.

Если присутствуют случайные шумы, то ситуация существенно ухудшается. В 1948 г. Клод Шеннон развил работу Найквиста на случай каналов, подверженных случайным шумам. Главный вывод Шеннона: максимальная скорость передачи информации в каналах с шумами с шириной полосы частот C, Гц, и отношением сигнал/шум S/N:

С = V_max = Н log₂(l +S/N), бит/с.

Такая предельная (максимальная) скорость передачи информации в канале связи называется его пропускной способностью. Реальная скорость передачи при этом будет гораздо ниже пропускной способности канала связи. Например, канал с Н = 3000 Гц и S/N = 30 дБ (обычные параметры телефонной сети) никогда не сможет передавать сигналы со скоростью более 30 000 бит/с независимо от количества уровней сигнала и частоты измерений. Шеннон получил результаты, используя положения теории информации, и они представляют собой только верхнюю границу. На практике же сложно даже приблизиться к этому пределу. Скорость передачи по телефонной линии 9 600 бит/с считается достаточной и достигается посылкой 4-битных групп со скоростью 2400 бод. Поэтому для высокоскоростной передачи информации используются широкополосные радио- и телевизионные каналы, а также специальные каналы для передачи дискретной (цифровой) информации, в частности оптоволоконные.