Статических каналов передачи дискретных сообщений. Вернёмся к информационным характеристикам бинарной системы ССПИ (см

Вернёмся к информационным характеристикам бинарной системы ССПИ (см. рис. 6) и рассмотрим теперь зависимость среднего количества информации (U, П) на один знак дискретного источника сообщений U, передаваемой посредством бинарного канала КПДС с переходной матрицей , от характеристик подключаемого к нему источника ДИС, то есть от величины P. В этом случае

P' ₁= P p + (1 – P) (1 – q); P' ₂ = P (1 – p) + (1 – P) q = 1 – P' ₁;

и в соответствии с формулой (7.1) имеем

(U, П) = P [ p log p + (1 – p) log (1 – p)] + (1 – P) [ q log q + (1 – q) log (1 – q)] –

– [ P (p + q – 1) + 1 – q ] log [ P (p + q – 1) + 1 – q ] –

– [ q – P (p + q – 1)] log [ q – P (p + q – 1)]. (9.1)

В симметричном бинарном канале (p = q):

(U, П) = p log p + (1 – p) log (1 – p) – [ P (2 p – 1) + 1 – p ]×

×log [ P (2 p – 1) + 1 – p ] – [ p – P (2 p – 1)] log [ p – P (2 p – 1)]. (9.2)

Зависимость величины (U, П) для симметричного бинарного канала КПДС от величины P представлена кривыми 1 ( p = q = 1) и 2 (0,5 < ( p = q) < 1) на рис. 8.

При (0,5 < p < q < 1) зависимость (U, П) от величины P имеет вид, изображенный кривой 3; при (0,5 < q < p < 1) – кривой 4 на рис. 8.

Величина P = P ₀, соответствующая максимальному значению (U, П) =

= ( p, q), находится из уравнения d (U, П)/ dP = 0. В результате решения этого уравнения получаем:

P ₀ = (q – β)/(p + q – 1),

_макс( p, q) = γ (q – β) – β log β – (1 – β) log (1 – β) + q log q + (1 – q) log (1 – q),

где β = (1 + 2 ^γ) ^–1, γ = [ p log + q log + log ]/(p + q – 1).

бит

знак

1

1

0,5

ℰ

3

2

4

0 P ₀ 0,5 1 P

Рис. 8. Зависимость среднего на знак количества информации

на выходе бинарного канала КПДС

от вероятности P выдачи знака u ₁ источником ДИС:

1 – (p = q = 1); 2 – (0,5 < p = q < 1); 3 – (0,5 < p < q < 1); 4 – (0,5 < q < p < 1)

Естественно, величина _макс( p, q) ≡ _макс(Π) зависит только от переходныхвероятностей p и q бинарного канала КПДС, а потому может служить его собственной информационной характеристикой – вне зависимости от информационных характеристик подключаемого к нему источника ДИС. Поэтому величину _макс(Π) будем называть удельной информационной ёмкостью статического канала КПДС, или просто ёмкостью канала КПДС и обозначать как ℰ (Π) ≡ _макс(Π).

Величина P ₀ соответствует априорной вероятности одного из первичных знаков бинарного источника ДИС. Этот источник ДИС будет согласован с каналом КПДС, который характеризуется величинами p и q.

Удельная информативность (энтропия) такого согласованного источника ДИС: _согл ( p, q) ≡ H _согл ( p, q) ≡ – P ₀ log P ₀ – (1 – P ₀) log (1 – P ₀), а коэффициент надёжности получившейся оптимальной статической системы передачи бинарной информации ССПИ χ( p, q) = _макс( p, q)/ H _согл ( p, q).

Отсюда практический вывод:

чтобы обеспечить минимум потерь информации в бинарном канале КПДС с переходными вероятностями (0,5 < p < 1) и (0,5 < q < 1), нужно так перекодировать, с помощью промежуточных символов , первичный источник ДИС, чтобы вероятность P выдачи кодового слова для знака u 1 соответствовала величине P 0.

Что же происходит при 0 < p < 0,5 и 0 < q < 0,5?

Рассмотрим симметричный бинарный канал КПДС с симметричным бинарным источником ДИС: P = 0,5; p = q. В этом случае, в соответствии с формулой (7.1), величина I_{k j} = log (P_{j k} / P'_k), и мы имеем:

P' ₁ = P' ₂ = 0,5; I ₁₁ = log (2 p); I ₂₁ = log [2 (1 – p)];

= 0,5 p log (2 p); = 0,5 (1 – p) log [2(1 – p)].

Графики зависимости величин I ₁₁, I ₂₁, и от значения величины p представлены на рис. 9.

Из рис. 9 следует, что при p = 0,5 количество информации I ₁₁ в символе w ₁ относительно знака u ₁ равно нулю (I ₁₁ = 0), а при p < 0,5 – становится отрицательным, что не отвечает интуитивному пониманию термина «информация». Зато при p < 0,5 величина I ₁₂ становится положительной. Это значит, что при 0,5 < p < 1 символу w ₁ следует присваивать значение знака u ₁, а при 0 < p < 0,5 – значение u ₂. При этом сумма среднего количества информации + , содержащейся в символе w ₂, всегда будет величиной неотрицательной при любом значении p.

Следовательно, рассчитанное по формуле (7.1) количество выходной ин-

формации всегда будет положительной величиной, за исключением случая p = 0,5, когда происходит полная потеря информации: I ₁₁ = I ₁₂ = I ₂₁ = I ₂₂ = 0.

Именно при таком (байесовском) алгоритме работы системы ССПИ реализуются формально-теоретические оценки, даваемые прикладной теорией информации.

В рассматриваемой системе ССПИ (P = 0,5; p = q) среднее количество информации, получаемое на выходе бинарного канала КПДС, (U, П) ≡ ≡ H (U, П) (бит / знак), численно равна его коэффициенту надёжности χ(½, p, q) и составляет

(U, П) = 1 + p log p + (1 – p) log (1 – p) = χ( p). (9.3)

бит I_kj

знак

1

I ₂₁ I ₁₁

0

1 p

– 1

I ₁₁ I ₂₁

– 2

Рис. 9. Зависимость информационных характеристик I _{k j}

симметричного бинарного канала КПДС

от значений его переходных вероятностей p = q

В общем случае (при N > 2) решением системы N ² уравнений относительно величин P_jk можно вычислить те значения P_jk ⁽⁰⁾, которые определяют переход величин I_{k j} через “ноль” – и соответствующим образом сконструировать (сравнением данных значений { P_jk } с граничными { P_jk ⁽⁰⁾} ) алгоритм присвоения символам { w_k } соответствующих значений знаков { u_j } . По существу именно таким образом реализуется байесовский критерий принятия решений.

В то же время, можно сформулировать следующее утверждение.

Если удельная информативность , или энтропия H (U) данного источника ДИС не более удельной информационной ёмкости ℰ (П) статического канала передачи КПДС, имеющего переходную матрицу П, то можно так закодировать знаки { uj } источника ДИС U, что передача длинных сообщений Si (n) (n >> 1) источника ДИС посредством статического канала КПДС будет почти безошибочной. Если ℰ (П) < H (U), то не существует способа кодирования знаков { uj } , который бы позволил передавать информацию с коэффициентом информационной надёжности бóльшим, чем χ(U, П) = ℰ (П)/ H (U). Иначе: при H (U) ≥ ℰ (П) средняя потеря информации на один знак источника ДИС будет не меньше, чем разность Δ(U, Π) = H (U) – ℰ (П).

Получив в разд. 9 достаточно существенные для практических приложений общетеоретические результаты теории информации, перейдём к способам их практической реализации.

Вопросы для самопроверки

1. Каким образом вычисляется удельная информативность бинарной системы передачи дискретных сообщений?

2. Что такое информационная ёмкость бинарного канала передачи дискретных сообщений и в чём состоит её практический смысл?

3. Каким образом вычисляется коэффициент информационной надёжности симметричного бинарного канала передачи дискретных сообщений?

4. Каким образом соотносятся между собой удельная информативность источника дискретных сообщений и информационная ёмкость статического канала передачи дискретных сообщений?