Вероятностный подход к информации

Значительный вклад в теорию информации внес американский инженер-связист и ученый Клод Шеннон в середине 20 века. Он оперировал терминами вероятностного подхода к информации.

Информацио́нная энтропи́я — мера неопределённости или непредсказуемости информации. Чем больше ее значение, тем больше беспорядок.

Информационная энтропия равна нулю, когда вероятность какого-либо сообщения равна единице (а вероятности остальных сообщений = нулю), т. е. когда информация полностью предсказуема и не несёт ничего нового для приёмника.

Энтропия принимает наибольшее значение для равновероятного распределения, когда все вероятности pk одинаковы; т. е. когда неопределённость, разрешаемая сообщением максимальна.

Формула Шеннона: I = - = .

Здесь: I – количество информации, получаемое в результате проведения опыта; N – общее количество исходов в опыте; p_i – вероятность i-го исхода.

Например, кидание монеты имеет энтропию − 2(0,5log₂0,5) = 1 бит на одно кидание (при условии его независимости). У источника, который генерирует строку, состоящую только из букв «А», энтропия равна нулю: . Так, например, опытным путём можно установить, что энтропия английского текста равна 1,5 бит на символ.

За единицу информации 1 бит (bi nary digi t – двоичная единица) принимается количество информации, получаемое в результате проведения опыта, состоящего в выборе одного из двух равновероятных исходов.