Определение количества информации в сообщении, написанном на алфавите с равновероятным распределением символов

При равновероятном распределении символов в алфавите вероятность появления любой буквы Р_i=1/32. В этом случае количество информации в буквенной части сообщения определится по формуле:

(2.1)

I₁= 135 бит

В цифровой части сообщения при равновероятном появлении цифр P_i=1/10, количество информации в сообщении будет определяться по формуле:

(2.2)

I₂ = 9.96 бит

Таким образом, общее количество информации в сообщении с равновероятным появлением символов определится как:

I = I₁+ I₂ (2.3)

I = 144.96 бит

Следует заметить, что подобный расчет является лишь ориентировочным, прежде всего потому, что не учитывается разница между вероятностями появления различных букв.

Определение количества информации в сообщении, переданном телеграфным кодом

Для расчета количества информации в данном сообщении необходимо составить вспомогательную таблицу:

Таблица 2.1

i	1	2	3	4	5	6	7	8	9	10	11	12	13	14
	c	т	у	д	е	н	к	а	_	г	р	п	ы	о
n_i	2	2	2	1	3	3	3	2	3	1	1	2	1	1
P_i	0.045	0.053	0.021	0.025	0.072	0.053	0.028	0.062	0.175	0.013	0.040	0.023	0.016	0.090

Расчет среднего количества информации на 1 символ в заданном сообщении произведен по формуле:

(2.4)

I₁ = 5.9 бит

Общее количество информации в буквенной части сообщения будет определяться как:

I₁₁= i*I₁ (2.5)

I₁₁ = 82.6 бит

Общее количество информации в цифровой части сообщения остается неизменным, т.к. все цифры могут попасться в сообщении также с равной вероятностью. Поэтому количество информации в цифровой части определится по формуле 2.2.

Общее количество информации в сообщении, переданном телеграфным кодом, будет определено по формуле:

I = I₁₁ + I₂ (2.6)

I = 92.56 бит

Понравилась статья? Добавь ее в закладку (CTRL+D) и не забудь поделиться с друзьями: