Студопедия
Обратная связь


Авиадвигателестроения Административное право Административное право Беларусии Алгебра Архитектура Безопасность жизнедеятельности Введение в профессию «психолог» Введение в экономику культуры Высшая математика Геология Геоморфология Гидрология и гидрометрии Гидросистемы и гидромашины История Украины Культурология Культурология Логика Маркетинг Машиностроение Медицинская психология Менеджмент Металлы и сварка Методы и средства измерений электрических величин Мировая экономика Начертательная геометрия Основы экономической теории Охрана труда Пожарная тактика Процессы и структуры мышления Профессиональная психология Психология Психология менеджмента Современные фундаментальные и прикладные исследования в приборостроении Социальная психология Социально-философская проблематика Социология Статистика Теоретические основы информатики Теория автоматического регулирования Теория вероятности Транспортное право Туроператор Уголовное право Уголовный процесс Управление современным производством Физика Физические явления Философия Холодильные установки Экология Экономика История экономики Основы экономики Экономика предприятия Экономическая история Экономическая теория Экономический анализ Развитие экономики ЕС Чрезвычайные ситуации ВКонтакте Одноклассники Мой Мир Фейсбук LiveJournal Instagram


Условная энтропия

Найдем энтропию сложного опыта α ^ β в том случае, если опыты не являются независимыми, т.е. если на исход β оказывает влияние результат опыта α. Например, если в ящике всего два разноцветных шара и α состоит в извлечении первого, а β - второго из них, то а полностью снимает неопределенность сложного опыта α ^ β, т.е. оказывается Н(α ^ β) = H(α), a не сумме энтропии, как следует из (2.5).

Связь между α и β состоит в том, что какие-то из исходов A(α) могут оказывать влияние на исходы из В(β), т.е. некоторые пары событий Ai ^ Bj не являются независимыми. Но тогда в (2.6) p(Ai ^ Bj) следует заменять не произведением вероятностей, а, согласно (А.14):

где - рAi (Bj) вероятность наступления исхода В, при условии, что в первом опыте имел место исход Аi.

Тогда

При подстановке в (2.6) получаем:

В первом слагаемом индекс j имеется только у B; изменив порядок суммирования, получим члены вида:

Однако,

поскольку

образует достоверное событие (какой-либо из исходов опыта β все равно реализуется). Следовательно, первое слагаемое оказывается равным:

Во втором слагаемом члены вида

имеют смысл энтропии опыта β при условии, что в опыте а реализовался исход Аi - будем называть ее условной энтропией. Если ввести данное понятие и использовать его обозначение, то второе слагаемое будет иметь вид:

где Hα(β) есть средняя условная энтропия опыта β при условии выполнении опыта α. Окончательно получаем для энтропии сложного опыта:

Полученное выражение представляет собой общее правило нахождения энтропии сложного опыта. Совершенно очевидно, что выражение (2.5) является частным случаем (2.10) при условии независимости опытов α и β.

Относительно условной энтропии можно высказать следующие утверждения:

1. Условная энтропия является величиной неотрицательной. Hα(β) = 0 только в том случае, если любой исход а полностью определяет исход β (как в примере с двумя шарами), т.е.

В этом случае Н ^ β) = Н(α).

2. Если опыты α и β независимы, то Нα(β) = Н(β), причем это оказывается наибольшим значением условной энтропии. Другими словами, опыт α не может повысить неопределенность опыта β; он может либо не оказать никакого влияния (если опыты независимы), либо понизить энтропию β.

Приведенные утверждения можно объединить одним неравенством:

т.е. условная энтропия не превосходит безусловную.

3. Из соотношений (2.10) и (2.11) следует, что

причем равенство реализуется только в том случае, если опыты α и β независимы.





 

Читайте также:

Способы задания конечного автомата

Алфавитное неравномерное двоичное кодирование сигналами равной длительности. Префиксные коды

Постановка задачи

Сопоставление алгоритмических моделей

Системы замкнутые и незамкнутые

Вернуться в оглавление: Теоретические основы информатики

Просмотров: 1018

 
 

© studopedia.ru Не является автором материалов, которые размещены. Но предоставляет возможность бесплатного использования. Есть нарушение авторского права? Напишите нам. Ваш ip: 54.211.27.195