Оцінка кількості інформації при вимірюванні параметрів сигналу

Акустичні інформаційні системи крім задачі спостереження і виявлення об’єктів дають можливість виміряти лінійні та кутові координати, швидкість та траєкторію руху ОС. Інформацію про координати та характеристики руху ОС отримують різними акустотехнічними методами, основаними на аналізі первинних інформаційних параметрів випроміненої та прийнятої акустичних хвиль. Найбільш поширені методи, способи їх реалізації, метрологічні та енергетичні характеристики були розглянуті в розділі 1. Приведемо узагальнений алгоритм вимірювання шуканої величини. АІС випромінює та приймає(або тільки приймає) акустичну хвилю. Первинні параметри акустичного сигналу, в разі наявності ОС, змінюються. Крім того за наявності завади та перешкод вони спотворюються. Тому процес зводиться до оцінки вимірювальної величини з деякою похибкою (дивись розділ 4). Із наведеного раніше відомо, що кількість отриманої інформації тим більше, чим менше апріорна ентропія. Встановимо, як це твердження можна використати для оцінки кількості отриманої при вимірюваннях інформації в залежності від похибки вимірювань.

Розглянемо процес вимірювання відстані технічним пристроєм[12]. Точність вимірювань характеризується числовим значенням отриманих при вимірюванні або передбачуваних похибок. При цьому використовуються поняття абсолютної і відносної приведеної похибок. Якщо вимірювальний пристрій має діапазон виміру від Х₁ до Х₂ з абсолютною похибкою ±Δ, що не залежить від значення Х вимірюваної величини, то результат вимірювання запишемо у вигляді Х ± Δ.

Процес вимірювання з позицій теорії інформації носить дещо інший характер, який відрізняється тим, що всім указаним вище поняттям надається ймовірнісний, статистичний сенс, а підсумок проведеного вимірювання тлумачиться як скорочення області невизначеності вимірюваної величини. У теорії інформації той факт, що вимірювальний прилад має діапазон вимірювань від Х₁ до X₂, означає, що при використанні цього приладу можуть бути отримані значення Х тільки в межах від Х₁ до X₂. Іншими словами, ймовірність отримання значень, менших Х₁ і більших X₂, дорівнює нулю. Імовірність же отримання відліку в межах від Х₁ до X₂ дорівнює одиниці.

Так як повна ймовірність отримати відлік десь в межах від Х₁ до X₂ дорівнює одиниці, то щільність ймовірності розподілу різних значень вимірюваної величини уздовж всієї шкали приладу однакова:

(2.33)

З точки зору теорії інформації знання вимірюваної величини до вимірювання може бути представлено графіком розподілу щільності ймовірності уздовж шкали значень х, показаним на рис. 2.5.

Рис.2.5.Графік розподілу щільності ймовірності р (х) до і після вимірювань.

Після проведення вимірювання отримуємо значення рівне Х_П. Однак внаслідок похибки приладу, рівний ± Δ, ми не можемо стверджувати, що вимірювана величина точно дорівнює значенню Х_П. Тому записуємо результат вимірювання у вигляді Х_П ± Δ. Це означає, що дійсне значення вимірюваної величини Х лежить десь у межах від Х_П + Δ до Х_П - Δ, тобто в межах ділянки 2Δ, як показано на рис. 2.5.

З точки зору теорії інформації результат вимірювання полягає лише в тому, що до вимірювання область невизначеності знаходилась в межах від Х₁ до Х₂ і характеризувалась малою щільністю ймовірності , а після вимірювання вона скоротилася до величини 2Δ і характеризується набагато більшою щільністю ймовірності .

Таким чином, процес вимірювання зводиться до зменшення невизначеності значення шуканої величини.

Теорія інформації наділяє це логічно зрозуміле, але досить розпливчасте міркування в строгу математичну форму. Формальний прийом для математичного запису цього логічного висновку полягає у визначенні кількості інформації за К.Шенноном (2.5) як зменшення ентропії від значення , яке характеризує невизначеність вимірюваної величини перед вимірюваннями, до значення .

(2.34)

У наведеному прикладі з рівномірним законом розподілу щільності ймовірності як до, так і після вимірювання вихідна ентропія становить:

(2.35)

Залишкова, або умовна, ентропія результату вимірювання після отримання відліку Х_П дорівнює:

Звідси отримана кількість інформації: (2.36)

Для вимірювання акустотехнічними методами відстані скористаємось рівняннями приведеними в табл.1.1. Вони пов’язують вимірювану відстань з інформаційними параметрами акустичної хвилі - часом, частотою, фазою. Тоді кількість інформації може бути записана безпосередньо відносно первинного параметру хвилі:

(2.37)

Прийняті позначення: - діапазон та похибка вимірювань часу; - діапазон та похибка вимірювання частоти; - діапазон та похибка вимірювань фази. Отриманий результат дає можливість оцінити кількість інформації, яку можна отримати тим чи інший методом.

Задачі

№1

Показати зв'язок між мірою К. Шеннона та Р. Хартлі за умови рівної ймовірності станів системи: .

Розв’язок. Підставимо в вираз для міри невизначеності К Шеннона (2.3) умову рівної ймовірності станів системи, отримаємо:

№2

Визначити ентропію системи, що може знаходитись у двох станах, при умові рівної ймовірності станів.(Задача визначення запису у регістр числа 1 або 0)

Розв’язок. Запишемо (2.3) з урахуванням умови рівної ймовірності станів системи:

Відповідь. Невизначеність стану системи(ентропія) усувається одним питанням: «Яке число записано у регістр, 1 або 0?»

№3

Визначити ентропію системи (кількість інформації у двійковій системі числення, або кількість регістрів у які записується інформація), для передачі числа 7.

Розв’язок. Запишемо число 7 у двійковій системі числення:

Враховуючи незалежність та рівну ймовірність стану кожного регістра, знаходимо ентропію для одного елементу системи згідно (2.3) та сумарну ентропію для системи з 3 регістрів:

Відповідь. Невизначеність стану системи усувається трьома питаннями: «Яке число записано у регістр, 1 або 0?» для кожного регістра. Ентропія системи дорівнює 3.

№4

Маємо символ із 4 букв (n=4). Яку кількість інформації може нести повідомлення у двійковій системі числення(m=2)?

Розв’язок. Кількість інформації, яке несе символ з n букв знайдемо із (2.4):

Відповідь. Символ із 4 букв несе 4 біти інформації.

№5

Яку кількість інформації може нести повідомлення записане в семи бітному коді ASCII (m=2, n=7)?

Розв’язок. .

Відповідь. Символ записаний в семи бітному коді ASCII несе 7 біт інформації.

№6

Скільки символів М може мати алфавіт записаний в семи бітному коді ASCII (m=2, n=7)?

Відповідь. Алфавіт у коді ASCII може складатися із М=тⁿ=2 ⁷ символів.

№7

Який двійковий код (скільки біт інформації) потрібно щоб передати алфавіт із М=32 символів?

Розв’язок. .

Відповідь. Для передачі алфавіту із 32 символів потрібно 5- ти бітовий код.

№8

Яка інформаційна продуктивність джерела повідомлень в коді ASCII із смугою частот =10³Гц.

Відповідь. Відомо, що ентропія кожного символу в коді ASCII Н =7,тому продуктивність джерела:

№9

Яка продуктивність формування символів джерела повідомлень в коді ASCII, якщо тривалість символу .

Відповідь. Відомо, що ентропія кожного символу в коді ASCII Н =7,тому продуктивність джерела:

№10

Розрахувати пропускну здатність акустичного каналу за умови, що середня інтенсивність(потужність) сигналу на приймачі дорівнює потужності шуму . Смуга частот каналу - =10³Гц.

Розв’язок. Використаємо рівняння (2.22) з урахуванням вихідних значень: .

Відповідь. Пропускна здатність акустичного каналу; .

№11

Розрахувати пропускну здатність акустичного каналу за присутності сигналу та адитивного гаусового білого шуму(завади). Середня інтенсивність(потужність) сигналу на приймачі в три рази більша потужності шуму . Смуга частот пропускання каналу - =10³Гц.

Розв’язок. Використаємо рівняння (2.22) з урахуванням вихідних значень:

Відповідь. Пропускна здатність акустичного каналу: .

№12

Отримати рівняння для розрахунку енергії сигналу яка потрібна для передачі інформації по АК за наявності гаусового білого шуму потужністю . Пропускна здатність каналу , полоса частот - =10³Гц, час передачі - Т.

Розв’язок.

1.Розрахуємо, з використанням (2.22), середню потужність сигналу на вході приймача:

2.Рівняння для енергії сигналу:

Відповідь Рівняння для розрахунку енергії сигналу, яка забезпечує задану пропускну здатність каналу: .

№13

На скільки збільшиться пропускна здатність АК якщо відношення СЗ на вході приймача зросте з 20 дБ до 30 дБ. Смуга частот 10³Гц.

Розв’язок. Використаємо залежність нормованої пропускної здатності від співвідношення сигнал/завада (рис.2.2). Нормована пропускна здатність збільшиться (приблизно) з 7 до 9 біт/с/Гц. Різниця складає 3 біт/с/Гц. Пропускна здатність АК, оцінена по графіку, збільшиться на .

Точний результат можемо отримати із рівняння (2.22) провівши не складні перетворення:

Відповідь. Пропускна здатність АК збільшиться на .

№14

Розрахувати час передачі по АК інформації об’ємом V=10⁶ біт. Пропускна здатність каналу складає . Співвідношення СЗ суттєво перевищує 1.

Розв’язок. Використаємо рівняння (2.26) з урахуванням умови задачі для визначення часу Т:

№15

В морській навігації широко використовуються ехолоти з робочою частотою 100 кГц, та частотною смугою 10 кГц. Чому дорівнює інформаційна швидкість та об’єм прийнятої ехолотом за Т =1с інформації, якщо потужність прийнятого сигналу дорівнює потужності завади , яка в 100 раз менше по потужності випроміненого сигналу .

Розв’язок. Використаємо рівняння (2.26), (2.29):

№16

Для дослідження рельєфу дна в гідролокаторі використовуються імпульси тривалістю . Чому дорівнює пропускна здатність АК за умови що на вході АП локатора, відношення СЗ становить ? Як зміниться у разі зменшення тривалості імпульсу? Як зміниться у разі зменшення співвідношення СЗ?

Розв’язок.

1.Розрахуємо смугу частот, яку займає імпульс:

2. Пропускна здатність АК:

3.У разі зменшення тривалості імпульсу смуга частот зростає тому пропускна здатність теж зростає.

4.У разі зменшення співвідношення СЗ пропускна здатність падає.

№17

Інформація про технічний стан трубопроводу, що проходить під водою, передається телеметричною системою по гідроакустичному каналу. Скільки часу Т потрібно щоб передати повідомлення із N= 1000 символів у коді ASCII. Вважати що двійкові числа «1» та «0» формуються імпульсами однієї тривалості . Відношення СЗ становить .

Розв’язок.

1.Враховуючи те, що кожний символ в коді ASCII має 7 біт, розрахуємо загальну кількість інформації в повідомленні:

2.Смуга частот, яку займає 1 імпульс тривалості дорівнює:

3.Кількість інформації, яку треба передати, визначається рівнянням (2.29). Звідки знайдемо час Т передачі повідомлення:

№18

Як зміниться час передачі повідомлення Т для умов задачі №17, якщо зменшити тривалість імпульсів в 2 рази?

Відповідь. Час передачі повідомлення Т зменшиться в 2 рази.

№19

Розрахувати кількість інформації одержуваної ультразвуковим вимірювачем відстані з похибкою вимірювання . Діапазон вимірювання (1-11) м. Шукана величина має рівномірний закон розподілу щільності ймовірності.

Розв’язок. Кількість отриманої інформації знаходимо з (2.36) як зменшення ентропії від значення , яке характеризує невизначеність вимірюваної величини перед вимірюваннями, до значення .

Відповідь. Кількість інформації, одержуваної ультразвуковим вимірювачем відстані з похибкою вимірювання , дорівнює 10 біт.

№20

Два ультразвукових вимірювача відстані мають однаковий діапазон вимірювань. Похибки вимірювань визначається відношенням . Як відрізняється кількість отриманої інформації?

Розв’язок. Різницю кількості отриманої інформації знаходимо з (2.36) у вигляді:

Відповідь. Кількість інформації відрізняється на 1 біт.

№21

Розрахувати на скільки змінитися кількість інформації, якщо щільність ймовірності розподілена рівномірно і зросте від р₁ =0.01 до р₂ =0.1.

Розв’язок. Різницю кількості отриманої інформації знаходимо з (2.36) у вигляді:

№22

Як зміниться кількість вимірювальної інформації якщо похибка вимірювань ?

Розв’язок. Аналізуємо співвідношення для кількості інформації (2.36):

Відповідь. Якщо похибка вимірювань зростає в порівнянні з попереднім значенням , то кількість інформації зменшується.

№23

В результаті проведення вимірювань кількість інформації збільшилась на . Розрахувати абсолютну похибку вимірювань, якщо апріорна щільність ймовірності вимірювань рівномірна в інтервалі [ X1, X2 ]і дорівнює .