Рассмотрим следующую задачу

Рассчитать энтропию системы, состоящей из избирателей и 5 кандидатов на государственный пост для следующих вариантов:

1) результаты социологического опроса произвольно выбранных 1000 избирателей говорят о том, что за каждого из 5 кандидатов выступает приблизительно 200 опрошенных;

2) в пользу 1-го кандидата высказалось 400 опрошенных

2-го 500

3-го 50

4-го 40

5-го всего 10 опрошенных

3) в пользу 1-го кандидата высказалось ~ 700 опрошенных

в пользу 2-го 250

3-го 30

4-го 15

5-го 5

Пример:

n = 5 неупорядоченная

более упорядоченная система

система

P_i = lnP_i = -1,609 P₁ = 0,4 lnp₁ = - 0,916

P₂ = 0,5 lnp₂ = - 0,693

P₃ = 0,05 lnp₃ = - 2,996

P₄ = 0,04 lnp₄ = - 3,219

P₅ = 0,01 lnp₅ = - 4,605

Полностью упорядоченная система

Р₁ = 1

Р₂…Р₅ = 0.

Принцип максимизации энтропии заключается в том, что в ситуациях, когда распределение вероятностей или значения вероятностей нам неизвестны, мы задаем их, исходя из следующего утверждения:

Система находится в равновесии, когда энтропия максимальна, что соответствует полному беспорядку. В рассмотренном примере это соответствует ситуации, когда нам ничего неизвестно о распределении пристрастий избирателей, и мы принимаем вероятность избрания любого кандидата равной P_i = , что будет соответствовать максимуму энтропии. Это также соответствует равновесному и наиболее вероятному состоянию системы.