Пусть в непрозрачном мешке находится 10 шаров, из которых один черный и девять белых, тогда вероятность вытащить наугад белый шар равна , вероятность достать черный шар . Вынимая из мешка наугад один из шаров, получаем количество информации по формуле Шеннона:
Легко заметить, что если вероятности всех событий равны, то для всех i и формула Шеннона сводится к формуле Хартли. Т.е. возникает ситуация максимальной неопределенности предполагающая наличие N равновероятных вариантов получаемого сигнала.Минимальная неопределенность равна 0, т.е. эта ситуация полной определенности, означающая что выбор сделан, и вся необходимая информация получена.
Величину, характеризующую количество неопределенности в теории информации, называется информационной энтропией. Количество информации I и информационная энтропия H характеризуют одну и ту же ситуацию с противоположенных сторон. I – это количество информации, которое требуется для снятия неопределенности H. Когда неопределенность снята полностью, количество полученной информации в битах равно изначально существовавшей неопределенности. При частичном снятии неопределенности, полученное количество информации It и оставшаяся неснятой неопределенность Ht составляют в сумме исходную неопределенность H (рисунок 1.3).
|
|
Рисунок 1.3 – Связь между энтропией и количеством информации
Помимо двух рассмотренных подходов к определению количества информации, существуют и другие, но в информатике они имеют меньшее распространение.
1.1.5 Оценка сообщений с позиций алгебры логики
Алгебра логики – это математический аппарат, с помощью которого записывают, вычисляют, упрощают и преобразовывают логические высказывания. Создателем алгебры логики (ХIХ век) считается английский математик Джордж Буль, в честь которого эта алгебра названа булевой.
Логическим высказыванием называют любое сообщение, в отношении которого однозначно известно, истинно оно или ложно. Так, например, о сообщении «Белый гриб съедобен» можно сказать, что оно истинное высказывание. Сообщение «Все грибы съедобны» – пример ложного высказывания. Таким образом, алгебра логики по существу двузначна.
Высказывания, образованные из других высказываний с помощью логических связок («и», «или», и др.), называются сложными или составными. Высказывания, не являющиеся составными, называются элементарными. Например, высказывания «Три – число нечетное» и «Три – число простое» являются элементарными, тогда как высказывание «Три – число нечетное и простое» – составное. В последнем высказывании союз «и» употребляется как логическая связка
|
|
Если сложное высказывание истинно для всех значений входящих в него переменных, то такое высказывание называется тождественно истинным или тавтологией. Тавтологиями являются все математические законы, например: истинно для любых a и b.
Если сложное высказывание ложно при всех значениях входящих в него переменных, то такое высказывание называется тождественно ложным.
Если значения сложных высказываний совпадают при всех возможных значениях входящих в них переменных, то такие высказывания называют равносильными, тождественными или эквивалентными.
Упрощение сложных высказываний – это замена высказывания на равносильное ему на основе законов алгебры высказываний.
В информатике вместо термина «логическая связка» принято употреблять термин «логическая операция» или «булева операция». Логическая (булева) операция, как и логическая связка выражает истинность или ложность информации в составном сообщении.
Рассмотрим действие основных логических операций, принимая в булевом контексте, что 0 – представляет значение «ложь», а 1 – логическое значение «истина».
1) Операция AND - конъюнкция (лат. conjunctio – соединение), логическое умножение. Обозначается символом Ù.
Она реализует следующую конструкцию логического высказывания: «результат операции будет истинным только в том случае, если оба входных сообщения истины»:
1Ù1=1;
1Ù0=0;
0Ù1=0;
0Ù0=0.
2) Операция OR – дизъюнкция (лат. disjunctio – разделение). Обозначается символом Ú.
Реализует словесную конструкцию: «результат будет истинным, если истинно хотя бы одно из входных сообщений»:
1Ú1=1;
1Ú0=1;
0Ú1=1;
0Ú0=0.
3) Операция NOT – логическое отрицание. Обозначается символом Ø.
Отличается от рассмотренных операций тем, что имеет только одно входное значение, причем результатом всегда будет значение противоположное, например:
.
4) Операция XOR – исключающее ИЛИ. Обозначается символом Ä.
Реализует конструкцию «результат будет истинным, если истинно либо то, либо другое из входных значений, но не оба одновременно», например:
1Ä1=0;
1Ä0=1;
0Ä1=1;
0Ä0=0.
5) Импликация (лат. implico – тесно связаны). Обозначается символом ®.
Выражается в конструкциях: “ если..., то ”, “ из... следует ”, “ ... влечет... ”. Например, «из A следует B», «если верно сообщение А, то верно и В», «наступление события А влечет наступление события В»:
A ® B.
Импликация двух высказываний ложна тогда и только тогда, когда из истинного высказывания следует ложное (истинная предпосылка ведет к ложному выводу):
1®1=1;
1®0=0;
0®1=1;
0®0=1.
6) Эквиваленция (или двойная импликация). Обозначается символом «или ~.
Выражается высказываниями типа “ тогда и только тогда ”, " необходимо и достаточно ”, “ равносильно ”. Например, «A равносильно B», «сообщение А, верно тогда и только тогда, когда верно В (и наоборот)», «для наступления события А необходимо и достаточно наступления события В»:
A«B.
Эквивалентность двух высказываний истинна, тогда и только тогда, когда оба эти высказывания истинны, или оба ложны:
1«1=1;
1«0=0;
0«1=0;
0«0=1.
Из приведенных шести операций основными считаются три: конъюнкция, дизъюнкция и отрицание. Через них в принципе можно выразить остальные три, например операция импликации выражается через отрицание и дизъюнкцию:
A ® B =Ø А Ú В.
А для замены операции эквивалентности существует два равносильных выражения:
A«B=(A ÙB) Ú(A ÙB);
A «B =(A ÚB) Ù(A ÚB).
Порядок выполнения логических операций задается круглыми скобками. Иначе порядок действий следующий: сначала выполняется операция отрицания (NOT), затем конъюнкция (AND), после конъюнкции – дизъюнкция (OR или XOR) и в последнюю очередь – импликация и эквиваленция.
Рассмотрим пример сложного логического высказывания: АÚ(B→C) ÙD «Ø(A)
|
|
Порядок выполнения:
1) Ø(А) – инверсия;
2) В → С – импликация;
3) (В → С) ÙD – конъюнкция;
4) А Ú(B → C) ÙD – дизъюнкция;
5) А Ú(B → C) ÙD = не(A) – эквивалентность.
1.1.6 Основные законы равносильности алгебры логики
При решении логических задач часто приходится упрощать формулы. Упрощение формул в булевой алгебре производится на основе эквивалентных преобразований, опирающихся на основные законы.
Законы логики высказываний – это такие выражения, которым всегда соответствует истинное высказывание вне зависимости от конкретных значений переменных. В алгебре высказываний логические законы выражаются в виде формул.
1) Закон тождества:
А = А – всякий объект тождественен сам себе, то есть «А есть А», где А – любое высказывание.
2) Закон исключенного третьего:
А ÚА = 1 – в один и тот же момент времени высказывание может быть либо истинным, либо ложным, третьего не дано. Истинно либо А, либо не А.
3) Закон непротиворечия:
(А ÙА) = 1 – не могут быть одновременно истинными суждение и его отрицание. То есть, если высказывание А - истинно, то его отрицание А должно быть ложным (и наоборот). Тогда их произведение будет всегда ложным, т.е. А ÙА =0.
Последняя формула часто используется при упрощении сложных логических выражений.
4) Закон двойного отрицания:
А = А – если отрицать дважды некоторое высказывание, то в результате получается исходное высказывание.
5) Законы, характеризующие свойства констант:
0 = 1;
1 = 0.
А Ú0 = А;
А Ù0 = 0;
А Ú1 = 1;
А Ù1 = А.
6) Законы идемпотентности:
А ÚА = А – отсутствие коэффициентов;
А ÙА = А – отсутствие степеней.
7) Законы коммутативности:
А ÚВ = В ÚА;
А ÙВ = В ÙА.
8) Законы ассоциативности:
А Ú(В ÚС) = (А ÚВ) ÚС;
А Ù(В ÙС) = (А ÙВ) ÙС.
9) Законы дистрибутивности:
А Ú(ВÙС) = (АÚВ) Ù(АÚС) – дизъюнкции относительно конъюнкции;
А Ù(ВÚС) = (А ÙВ) Ú(А ÙС) – конъюнкции относительно дизъюнкции.
|
|
10) Законы поглощения:
А ÚА ÙВ = А;
А Ù(А ÚВ) = А.
11) Законы де Моргана:
(А ÚВ) = А Ù В – отрицание вариантов;
(А ÙВ) = А ÚВ – отрицание одновременной истинности.
Здесь в левой части тождества операция отрицания стоит над всем высказыванием. В правой части отрицание стоит над каждым из простых высказываний, но одновременно меняется операция дизъюнкция на конъюнкцию и наоборот. Примеры:
«Неверно, что я знаю Pascal или Basic» тождественно тому, что «Я не знаю Pascal и не знаю Basic».
«Неверно, что я подготовился к зачету и сдал его» тождественно тому, что «Или я не подготовился к зачету, или я не сдал его».