Лекция 2. Дискретный канал без помех
Энтропия как мера неопределенности выбора
Дискретный источник – в некоторый момент времени случайным образом может принять одно из конечного множества возможных состояний U1,…,Un, т.к. одни состояния могут быть чаще, а другие реже, то информация характеризуется ансамблем U, т.е. полной совокупностью:
причем (1.4)
Необходимо ввести меру выбора.
Условия ввода меры:
1) монотонность возрастания с увеличением возможностей выбора
можно было бы взять число состояний. – Нельзя! т.к. при N=1 ® выбора нет. - не удовлетворяет требованиям аддитивности.
2) аддитивность: информация содержащаяся в 2-х источниках должна быть равна сумме информации в каждом из них: IS=I1+I2,
с другой стороны: IS=f(M×N) т.е. f(MN) = f(M) + f(N).
Эти условия можно выполнить, если
Логарифмическая мера информации была предложена американским ученым Хартли в 1928 г. Если основание log=log2, то имеем единицу информации – бит (binary digit).
К сожалению, мера Хартли не учитывает вероятностные характеристики информации. Допустим: - источник ® p1=1, p2=0
|
|
- источник ® p1=p2=0,5
В 1-ом случае нет - вероятности и исход – заранее известен. т.о. получение сообщения от 1-го источника информации не прибавляет.
Во 2-ом случае – исход заранее неизвестен. Поэтому информация полученная от 2-го источника ® max, т.е. вероятностная мера информации должна удовлетворять следующим условиям:
- быть непрерывной функцией вероятности состояния источника p1, p2,…, pN (Spi=1);
- max ее (меры) значения должен достигаться при равенстве вероятностей;
- мера информации должна зависеть только от функции распределения СВ и не зависеть от ее конкретных значений.
Вероятностная мера информации как мера неограниченности выбора состояния из ансамбля была предложена Клодом Шенноном:
- энтропия (1.5)
В данной системе с=1, тогда:
(1.6)
1.4 Связь энтропии Шеннона с энтропией Больцмана.
Рассмотрим взаимосвязь меры Шеннона с мерой Хартли. Если в ИС имеется N состояний и они p вероятны, то
. (1.7)
В случае разности вероятностных состояний информация по Шеннону < информации по Хартли. Так для двух равновероятных событий по Хартли:
I=log 2 = 1 бит.
по Шеннону: H=-(p1log2p1+p2log p2) H=1 бит Max достигается при p1=p2=0,5
Рис 1.1.
Цель лекции: ознакомление с дискретным каналом передачи информации без помех.
Содержание:
а) понятие информации;
б) дискретный канал передачи информации без помех;
в) пропускная способность канала;
г) теоремы для пропускной способности канала без помех;
д) математическая модель дискретного канала без помех;
Термином “информация” с древнейших времен обозначали процесс разъяснения, изложения, истолкования. Позднее так называли и сами сведения и их передачу в любом виде.
|
|
Информация – не только сведения о свойствах объектов и процессов, но и обмен этими сведениями между людьми, человеком и автоматом, автоматом и автоматом, обмен сигналами в животном и растительном мире, передача признаков от клетки к клетке, от организма к организму. Под информацией нужно понимать не сами объекты и процессы, или их свойства, а представляющие характеристики предметов и процессов, их отражение или отображение в виде чисел, формул, описаний, чертежей, символов, образов и других абстрактных характеристик.
Под информацией понимают сведения о каком-либо явлении, событии, объекте. Информация, выраженная по определенной форме, представляет собой сообщение, иначе говоря, сообщение это то, что подлежит передаче, а сигнал является материальным носителем сообщения. В широком смысле информации – это новые сведения об окружающем нас мире, который мы получаем в результате взаимодействия с ним. Информация - одна из важнейших категорий естествознания.
Можно выделить 3 основных вида информации в обществе: личную, специальную и массовую. Личная информация касается тех или иных событий в личной жизни человека. К специальной информации относятся научно-техническая, деловая, производственная, экономическая и др. Массовая информация предназначена для большой группы людей и распространяется через средства массовой информации: газеты, журналы, радио, телевидение.
Информация в любой форме является объектом хранения, передачи и преобразования. В теории и технике связи в первую очередь интересуются свойствами информации при её передачи и под информацией понимают совокупность сведений о явлениях, событиях, фактах, заранее не известных получателю.