Найдем энтропию сложного опыта α ^ β в том случае, если опыты не являются независимыми, т.е. если на исход β оказывает влияние результат опыта α. Например, если в ящике всего два разноцветных шара и α состоит в извлечении первого, а β - второго из них, то а полностью снимает неопределенность сложного опыта α ^ β, т.е. оказывается Н(α ^ β) = H(α), a не сумме энтропии, как следует из (2.5). Связь между α и β состоит в том, что какие-то из исходов A(α) могут оказывать влияние на исходы из В(β), т.е. некоторые пары событий Ai ^ Bj не являются независимыми. Но тогда в (2.6) p(Ai ^ Bj) следует заменять не произведением вероятностей, а, согласно (А.14): где - рAi (Bj) вероятность наступления исхода В, при условии, что в первом опыте имел место исход Аi. Тогда При подстановке в (2.6) получаем: В первом слагаемом индекс j имеется только у B; изменив порядок суммирования, получим члены вида: Однако, поскольку образует достоверное событие (какой-либо из исходов опыта β все равно реализуется). Следовательно, первое слагаемое оказывается равным: Во втором слагаемом члены вида имеют смысл энтропии опыта β при условии, что в опыте а реализовался исход Аi - будем называть ее условной энтропией. Если ввести данное понятие и использовать его обозначение, то второе слагаемое будет иметь вид: где Hα(β) есть средняя условная энтропия опыта β при условии выполнении опыта α. Окончательно получаем для энтропии сложного опыта: Полученное выражение представляет собой общее правило нахождения энтропии сложного опыта. Совершенно очевидно, что выражение (2.5) является частным случаем (2.10) при условии независимости опытов α и β. Относительно условной энтропии можно высказать следующие утверждения: 1. Условная энтропия является величиной неотрицательной. Hα(β) = 0 только в том случае, если любой исход а полностью определяет исход β (как в примере с двумя шарами), т.е. В этом случае Н(α ^ β) = Н(α). 2. Если опыты α и β независимы, то Нα(β) = Н(β), причем это оказывается наибольшим значением условной энтропии. Другими словами, опыт α не может повысить неопределенность опыта β; он может либо не оказать никакого влияния (если опыты независимы), либо понизить энтропию β. Приведенные утверждения можно объединить одним неравенством: т.е. условная энтропия не превосходит безусловную. 3. Из соотношений (2.10) и (2.11) следует, что причем равенство реализуется только в том случае, если опыты α и β независимы. |
Строчная словесная запись алгоритма Сопоставление алгоритмических моделей Вернуться в оглавление: Теоретические основы информатики |