Что такое дифференциальная энтропия?

Мера неопределенности на непрерывные случайные величины.

Мера неопределенности равномерно распределенной в единичном интервале.

Аналог энтропии дискретной величины, но аналог условный, относительный, т.к. единица измерения произвольна.

36) Сформулировать фундаментальное свойство случайных процессов:

Для любых заданных e>0 и s>0 можно найти такое n₀, что реализация любой длины n>n₀ распадаются на два класса:

• группа реализаций, вероятность P(C) которых удовлетворяет неравенству |[1/n]⋅logP(C) + H| < e;
• группа реализаций, вероятности которых этому неравенству не удовлетворяют.

Для любых заданных 0>e>0 и s>0 можно найти такое n₀, что реализация любой длины n>=n₀ распадаются на два класса:

• группа реализаций, вероятность P(C) которых удовлетворяет неравенству |[1/n]⋅logP(C) + H| < e;
• группа реализаций, вероятности которых этому неравенству не удовлетворяют.

Для любых заданных e> 0 и s>0 можно найти такое n₀, что реализация любой длины n>=n₀ распадаются на два класса:

• группа реализаций, вероятность P(C) которых удовлетворяет неравенству |[1/n]⋅logP(C) + H| > e;
• группа реализаций, вероятности которых этому неравенству не удовлетворяют.

Что такое процесс получения информации?

Изменение неопределенности в результате приема полезных сигналов.

Изменение неопределенности в результате приема полезных сигналов и шумов.

Изменение неопределенности в результате приема сигнала.