Энтропия Н рассматриваемой системы является мерой ее неупорядоченности

Пример с голосованием: если n кандидатов имеют одинаковую вероятность получения голоса любого заданного избирателя, то, очевидно, что P_i = - вероятность того, что избиратель выберет i-го кандидата. Если все избиратели голосуют за какого-то определенного кандидата, то можно с определенностью сказать, за какого избирателя подает голос любой произвольно выбранный избиратель. Такое распределение будет полностью упорядоченным (Н = Н_min).