2015-04-17
915
1.1. Что такое энтропия?
1.2. Дайте основные свойства энтропии для дискретных систем.
1.3. Укажите, когда энтропия приобретает максимальное (минимальное) значение.
1.4. Выразите энтропию объединения двух систем в случае независимых и зависимых систем.
1.5. В чем отличия количества информации по Хартли и по Шеннону?
1.6. В чем разница между понятиями объем информации и количество информации?
1.7. Как зависит количество информации от сообщения об отдельном событии от вероятности этого события?
1.8. Приведите выражение взаимной информации.
1.9. Во что превращается полная взаимная информация в случаях полной независимости и полной зависимости систем.
