Информация (от лат. inforтatio - разъяснение, осведомление). Информация - это отражение внешнего мира с помощью знаков и сигналов.
Основные понятия теории информации:
сообщение, сигнал, количество информации, энтропия, кодирование, пропускная способность канала связи. Сообщение – некоторая информация о событиях, закодированная в форме определенного сигнала.
Сигнал – физический носитель информации (звук, свет, буква).
Свойства информации:
1. Информация имеет смысл только при наличии ее приемника (потребителя). Если принимающий объект отсутствует, то нельзя говорить о существовании информации.
2. Наличие сигнала не обязательно говорит о том, что передается некоторая информация. Информативно только такое сообщение, которое несет в себе что-то неизвестное ранее
3. Информация может передаваться не обязательно только через наше сознание. Она передается и на подсознательном уровне, и на уровне внутренних процессов в организме. Для мышц двигательного аппарата пришедшие к нему нервные импульсы несут информацию о необходимых действиях.
4. Если событие достоверное (то есть его вероятность Р=1), то сообщение о том, что оно произошло, не несет никакой информации для потребителя.
5. Сообщение о событии, вероятность которого Р< 1, содержит в себе информацию, и тем большую, чем меньше вероятность события, которое произошло.
Таким образом, чем меньше вероятность некоторого события, тем большее количество информации содержит сообщение о том, что оно произошло.
Шеннон дал следующее определение информации: "Информация, содержащаяся в сообщении, есть мера того количества неопределенности, которое ликвидируется после получения данного сообщения.
Количество информации I(i), содержащееся в сообщении xj, равно логарифму величины, обратной вероятности Р(хi) этого события:
За единицу информации принято количество информации, содержащееся в сообщении о том, что произошло одно из двух равновероятных событий, то есть если Р(А) = Р(В) = 0,5, то
IA = IB = - log2 0,5 = 1
Это количество информации называют бит.
Среднее количество информации, которое может получить объект, зависит от характеристик канала связи. Каналом связи может быть провод, световой луч, волновод, нервные волокна, кровеносные сосуды и др.
Основной характеристикой канала связи является его пропускная способность. Она будет определяться предельной скоростью передачи информации, измеряемой в бит/с.