Визначення інформації

Розділ 2. ЗАСТОСУВАННЯ ТЕОРІЇ ІНФОРМАЦІЇ В ЗАДАЧАХ АКУСТИЧНОЇ ЛОКАЦІЇ

Акустичні хвилі мають властивість розповсюджуються у пружному середовищі де хвилі іншої фізичної природи(електромагнітні, оптичні) не поширюються, або ж швидко згасають. Тому їх використовують для вирішення ряду інформаційних задач локації, зв’язку та телеметрії в гідроакустиці, аероакустиці, сейсморозвідці, дефектоскопії та біомедицині. Технічні засоби призначені для передачі та отримання інформації за допомогою акустичних хвиль називаються акустичними інформаційними системами (АІС). При розробці АІС важливо вміти аналізувати та порівнювати інформаційні можливості різних інженерних рішень, розуміти вплив технічних характеристик окремих складових системи на пропускну здатність та швидкість обміну інформацією, вміти узгоджувати об’єми інформаційних систем та сигналів. В розділі приведені основні положення теорії інформації, наведено рівняння для розрахунку кількості інформації в сигналі, швидкості передачі та пропускної здатності акустичного інформаційного каналу. Розглянуто узагальнені структурні схеми побудови активних та пасивних АІС. Теоретичні викладки підкріплені прикладами та розв’язком типових прикладних задач.

Визначення інформації

Термін «інформація» походить від латинського слова «informatio», що означає «роз'яснення, виклад, обізнаність». Людина вважала себе єдиною істотою здатною приймати і обробляти інформацію. Це твердження було спростовано лише в середині ХХ століття, коли стало відомо, що інформаційні процеси відбуваються в будь-якому, навіть самому простому живому організмі. Будь-яке співтовариство (наприклад-тварини, птахи, риби, люди) використовує інформацію у процесі своєї діяльності), різні лише способи її передачі. Інформаційні процеси притаманні так само і технічним пристроям. Внаслідок розвитку обчислювальної техніки, телебачення, радіо, мультимедійних систем інформація набула реальну цінність, таку ж як і енергоносії, корисні копалини, цінні метали і т.п. Виникла потреба чіткого визначення поняття інформації та її кількісної оцінки, оскільки будь-яка наука проходить дві стадії: описову і математичну. Єдиного визначення інформації не існує. К.Шеннон запропонував оцінювати інформацію за ступенем зменшення невизначеності (ентропії) у користувача. Якщо ж повідомлення не зменшує невизначеність, воно не є інформацією. Приклад. Повідомлення про те, що на зміну ночі приходить день, не є інформацією

Інформація - сукупність відомостей про об'єкт (явище, предмет, або процес) яка зменшує невизначеність, що існувала у користувача до її отримання. Інформація не може бути ототожнена ні з енергією, ні з матерією. Вона базується на об'єктивному властивості матерії - відображенні, яке полягає в тому, що одна система, взаємодіючи з іншою, відображає її образ за рахунок зміни своїх властивостей. Безліч станів матеріальної системи та всіх її підсистем є інформацію про систему.

Приклад. Якщо у вас є два яблука і у мене є два яблука, і ми ними обміняємося, то у вас як і раніше буде два яблука і у мене як і раніше буде два яблука; але якщо у мене є ідея і у вас є ідея, і ми обміняємося цими ідеями, то у вас буде дві ідеї і в мене буде дві ідеї.

Інформація (за визначенням А.Н. Колмогорова[9]) - це характеристика внутрішньої організованості матеріальної системи по безлічі станів, які вона може приймати. Поняття інформації [10,11] тотожне поняттю відомості і передбачає наявність принаймні двох взаємодіючих систем, одна з яких є системою спостереження (приймачем), а друга - джерелом інформації (передавачем). Поза зазначеної схеми поняття інформація втрачає сенс. Інформація проявляється в матеріально-енергетичній формі у вигляді повідомлень (сигналів), хоча це не матерія і не енергія, які переходять один в одне. Будемо використовувати термін «інформація» у вузькому сенсі, прийнятому при описі так званих інформаційних систем До них відносяться телекомунікаційні та обчислювальні мережі, автоматизовані системи спостереження, управління та контролю тощо.

Повідомлення - матеріальна форма подання інформації та відповідає стану передавальної системи. Повідомлення можуть фіксуватись на твердому носії інформації (лист, магнітна плівка, оптичний диск тощо) і передаватись споживачу якимось транспортним засобом. Або використовувати для транспортування інформації якийсь фізичний процес, здатний поширюватися в просторі (електричний струм, електромагнітна хвиля, акустичні коливання). Для цього повідомлення записується на фізичний процес завдяки операції модуляції, а на стороні приймача інформація виділяється - детектується. Повідомлення, яке передається параметрами фізичного процесу(амплітудою, фазою, частотою) називається сигналом. Сигнал - матеріальний переносник інформації.

Одним із перших визначення кількості інформації дав американський інженер Р.Хартлі у 1928р. Він запропонував мірою кількості інформації вважати кількість повідомлень яку слід отримати, щоб зняти невизначеність стану передавача. Тому кількість інформації можна визначити як міру знятої невизначеності, яка зростає з ростом числа станів системи. Це визначення передбачає зв'язок (перешкоди відсутні) між станами двох систем – передавачем та приймачем. Будь-яка фізична система описується сукупністю фізичних величин – параметрами системи які визначають стан системи.

Стан системи - це значення фізичної величини або параметрів, які її описують. Якщо ці значення дискретні, то система називається дискретною, а якщо неперервні, то система називається системою з безліччю станів.

Сигнал - це фізичний процес параметри якого відображають стан джерела повідомлень. Оскільки безліч повідомлень можна розглядати як безліч випадкових станів, то відображення значень фізичної величини також буде випадковим. Отже, випадкову величину можна прийняти в якості моделі сигналу. У загальному випадку стан системи, як і передане повідомлення, змінюється в часі, тому зазначена випадкова величина змінна у часі.

Розглянемо джерело повідомлень Z із станами та апріорною ймовірністю станів :

(2.1)

Чим більше величина N, тим більше невизначеність вибору конкретного стану. Це наштовхує на думку прийняти число N в якості міри невизначеності вибору. Однак при N =1 невизначеність вибору дорівнює 0, хоча міра відмінна від нуля. Мабуть, ця незручність послужила однією з причин введення наступної міри невизначеності стану системи:

(2.2)

На жаль, міра невизначеності стану по Р. Хартлі не враховує того факту, що ймовірності можуть бути різні. Вона використовується лише в разі рівної ймовірності станів системи. Тому природньою є вимога, щоб міра невизначеності була безперервною функцією ймовірностей . Задовольняє цій вимозі міра невизначеності (ентропія*) запропонована К. Шенноном:

(2.3)

Таким чином, ентропія є функціоналом закону розподілу випадкової величини і враховує особливості цього закону. Основні положення теорії інформації були розроблені К. Шенноном в його роботах 1948, 1949 і 1950 років. Основна ідея теорії інформації полягає в тому, що з інформацією можна поводитися майже так само, як з такими фізичними величинами, як маса або енергія. Тому система передачі (обміну) інформації може розглядатися подібно системам транспортування маси або енергії.

*Ентропія (древньо греч. ἐντροπία - поворот, перетворення) - в природних науках міра безладу системи, що складається з багатьох елементів. У теорії інформації - міра невизначеності будь-якого досвіду (випробування), який може мати різні результати, а значить, і кількість інформації.

Слідпідкреслити, що ентропія характеризує тільки середню невизначеність стану системи (вибору одного стану - елементу множини, з безлічі станів), повністю ігноруючи їх змістовну сторону.

Ентропія об'єднання статистично незалежних множин (станів) Z і V дорівнює сумі ентропій вихідних множин:

При встановленні цієї властивості використовується властивість ймовірностей незалежних елементів: . Це дуже важливе рівняння дозволяє враховувати вплив шумів та завад на спотворення інформації.

Одиниці вимірювання інформації. Одиниці виміру ентропії залежать від вибору основи логарифма в наведених виразах. Якщо логарифм десятковий (lg), кількість інформації визначаються в десяткових одиницях - діт, якщо логарифм натуральний (ln), одиницею виміру є ніт. Найбільш широко використовується біт - (bit, скорочення від англійського binary digit – двійкова цифра), відповідає логарифму по основі два, яку і будемо використовувати далі.

У математичних викладках більш зручно використовувати натуральні логарифми. Для аналізу електронних обчислювальних машин або приладів, що працюють у двійковій системі числення, зручніше користуватися двійковими одиницями, а для аналізу вимірювальних пристроїв, що працюють, як правило, в десятковій системі числення, - десятковими одиницями.

Розглянемо кількість інформації при передачі цифрового повідомлення[11]. Повідомлення формується із окремих символів. Кожний символ це група із n букв, знаків (біт), записаних в двійковому алфавіті із m=2 цифр, двійкової системи числення «1,0». Цифровий символ можна розглядати як окремий «інтегральний» стан джерела повідомлень. Всього таких символів – розмір алфавіту символів, буде М=тⁿ=2ⁿ. Тоді кількість інформації , яке несе символ з n букв дорівнює:

, біт (2.4)

Якщо символ має одну букву n=1, М=2 то це двійковий символпереносить 1 біт інформації. Якщо n=2, М=4, то такий символ складається із двох букв, входить доалфавіту з чотирьох символів, кількість інформації =2біт. Чим більше букв у символі тим більше інформації він переносить. Найбільш поширений семи бітний код ASCII(American Standard Code for Information Interchange- американський стандартний код для обміну інформацією), код Бодо(Baudot code), азбука Морзе(Morse code) та інші.

Фізично кожному біту інформації відповідає один елемент(розряд) електронного регістра передавача, який приймає значення високого чи низького рівня фізичної величини (заряду, напруги, намагніченості і т.д).

К.Шеннон запропонував обчислювати кількість отриманої інформації як різницю невизначеності(ентропій), які були у користувача до та після отримання повідомлення:

(2.5)

де - ймовірність апостеріорна (знайдена за даними, отриманими після експерименту), а - ймовірність апріорна (знайдена за даними, відомими до експерименту).

Апостеріорна інформація це інформація, одержувана в результаті проведення експерименту.

Апріорна інформація, це відомості, отримані на базі попереднього досвіду, статистичної обробки та узагальнення теоретичних матеріалів, знання законів розподілу випадкових величин, таких як сигнал, перешкода та їх суміш. Апріорна інформація вкрай важлива. Існує думка, що застосування адаптивних систем, не вимагає апріорної інформації, насправді не маючи в своєму розпорядженні апріорної інформацією, неможливо було б створити такі системи.

В загальному випадку ймовірність апостеріорна Якщо ж покласти її рівною одиниці, то:

(2.6)

Можна зробити висновок, що кількість інформації, або її цінність, тим більша чим менша апріорна вірогідність знаходження системи в одному із багатьох можливих станів. Тобто в теорії інформації найбільшу цінність мають повідомлення найменш очікувані.

Обмін інформації в системі проходить щодо кожного стану множини джерела повідомлень Z. Приймач отримує елемент повідомлення з множини V. Тоді кількість відомостей, що містяться у прийнятому елементі повідомлення дорівнює:

. (2.7)

де - ентропія джерела повідомлення; - ентропія приймача повідомлення(умовна ентропія); - апріорна ймовірність передачі елементу повідомлення; - апостеріорна(умовна) ймовірність того, що передано елемент по прийнятому .

Інформація, яка передається одним елементом, характеризується наступними властивостями:

1. Кількість інформації зменшується з ростом апріорної вірогідності , збільшується з ростом апостеріорної вірогідності і залежно від співвідношення між ними може бути позитивним, негативним і нульовим.

2. Якщо  , то: .

3. За відсутності перешкоди кількість інформації дорівнює апріорній невизначеності елементу множини:

.

4. Властивість симетрії - кількість інформації про , що міститься в , дорівнює кількості інформації про , що міститься в :

Звідси зробимо висновок, що несе про стільки ж інформації скільки несе про . Тому величина називається взаємною кількістю інформації між i -м елементом множини Z та j-м елементом множини V. Взаємна кількість інформації може бути додатна, від’ємна та нульова. Від’ємна інформація називається «дезінформацією»

Оскільки складна система випадковим чином приходить в
той чи інший стан, обумовлений парою чисел , то
буде випадковою величиною, яку можна усереднити
по всій множині станів. В результаті усереднення отримаємо вираз для середньої (повної) взаємної інформації:

(2.8)

З точки зору опису системи обміну інформацією байдуже, яку з підсистем розглядати в якості передавача, а яку в якості приймача. Ентропії , можна інтерпретувати як кількість інформації що поступає в канал обміну інформацією. Умовні ентропії - кількість інформації яка розсіюється в каналі.

Інформаційна система - сукупність пристроїв (підсистем), призначених для передачі повідомлення від джерела до приймача. Система що призначена для передачі дискретних повідомлень, називають дискретною. Сигнал в такій системі зазвичай піддається перетворенням в наступній послідовності пристроїв: джерело повідомлення - модулятор – передавач сигналу – канал обміну інформацією – приймач сигналу - демодулятор - приймач повідомлення.

Джерело повідомлення характеризується продуктивністю. Продуктивність джерела повідомлень - це кількість інформації, вироблене джерелом в одиницю часу. Зазвичай перешкоди в джерелі малі і їх не враховують. При цьому продуктивність джерела чисельно дорівнює величині ентропії в одиницю часу і визначається співвідношенням:

,біт/с (2.9)

Позначення: - час формування одного знаку (біту); - ефективна смуга частот.

При передачі повідомлень (символів) які містять кілька знаків слід оцінювати не тільки сумарну тривалість повідомлення, але й інтервали між окремими знаками. Якщо повідомлення складається з N знаків з інтервалом між елементами рівним тривалості символу, то його тривалість Т дорівнює:

(2.10)

Від джерела повідомлень через модулятор та передавач сигнал поступає на вхід каналу обміну інформацією. По каналу обміну інформацією, як правило, передається безперервний сигнал. Вважається, що саме в каналі обміну інформацією виникають найбільші перешкоди. Тому при теоретичному дослідженні моделі інформаційної системи з перешкодами вважають, що перешкоди в джерелі та інших елементах передавача та приймача відсутні, або малі порівняно з перешкодами в каналі. Якщо перешкоди в каналі також невеликі, то для теоретичного аналізу в першому наближенні можна використовувати ідеалізовану модель каналу без перешкод.

Канал обміну інформацією характеризується інформаційною швидкістю та пропускною здатністю.

Під інформаційною швидкістю розуміють середню кількість інформації, що передається по каналу за час передачі повідомлення:

(2.11)

При відсутності перешкод, має місце взаємно однозначна відповідність між повідомленнями на вході і виході каналу, тому . Пропускна здатність каналу визначається максимумом середньої кількості інформації :

. (2.12)

Інформаційна швидкість за наявності в каналі обміну інформаціїперешкод зменшується, тому що зменшується середнє значення кількості переданої інформації:

.