Энтропия и информация

Таким образом, неравновесному состоянию макросистемы соответствует меньшая энтропия, чем равновесному. Но в неравновесном состоянии мы можем иметь больше информации о системе, чем в равновесном. Чем меньше энтропия, тем большую информацию мы можем иметь о системе. Поэтому отрицательную энтропию или негэнтропию рассматривают как меру возможной информации о системе. Следовательно, информацию можно определить как разность энтропии равновесного и рассматриваемого неравновесного состояний:

.

Рассмотрим следующий пример. Пусть имеется N атомов, каждый из которых может находиться в одном из двух состояний. Пример микросостояния такой системы приведен в следующей таблице:

 

­

¯

¯

­

­

¯

¯

...

…

¯

­

¯

­

 

Если состояниям атомов поставить в соответствие цифры 1 или 0, то каждое микросостояние можно охарактеризовать одним из 2 ^N двоичных чисел:

 

…

…

 

Пусть система находится в равновесном состоянии. Так как каждый атом с равной вероятностью может находиться в любом из двух состояний, число микросостояний W ₀ = 2 ^N. (Если энергии состояний отличаются незначительно, то количество атомов в состоянии 1 приблизительно равно числу атомов в состоянии 0). Энтропия состояния максимальна и равна по величине

,

а информация о системе равна нулю:

.

Пусть теперь состояние одного из атомов зафиксировано, т.е. мы знаем, в каком из двух состояний он находится. Тогда число микросостояний, отвечающих данному макроскопическому состоянию системы, уменьшается до W ₁ = 2 ^{N –1}. Энтропия и информация соответственно равны:

, .

Если зафиксировать состояние двух атомов, то энтропия и информация будут равны:

, .

Продолжая этот процесс до конца, придем к такому состоянию системы, когда каждый атом однозначно будет находиться в определенном состоянии: W_N = 1. В этом случае энтропия системы равна нулю, а информация о системе максимальна:

, .

Отсюда видно, что в единицах СИ минимальный объем информации как физической величины, называемый битом, равен

Дж/К.

Итак, информация является мерой упорядоченности в системе, а энтропия является мерой беспорядка или хаоса.

 

Задача 6.1. При изотермическом расширении (T = 300 К) объем одного моля идеального газа увеличился в два раза, что соответствует увеличению хаотичности и уменьшению определенности в положениях частиц. Определите уменьшение информации о системе. Какое количество теплоты было сообщено газу?

Решение. Уменьшение информации о системе из-за увеличения ее хаотичности равно увеличению энтропии:

.

Энтропия равна , где W – число состояний системы. Поэтому ее изменение в процессе

.

При увеличении объема газа вдвое, число состояний (положений) каждой частицы удваивается. Для N_A частиц число состояний увеличивается в раз: . В результате получаем изменение информации

Дж/К= – 6,02×10²³ бит.

Количество теплоты, полученное газом в процессе, равно

Дж.

Легко видеть, что . Сообщение теплоты сопровождается увеличением энтропии системы и уменьшением информации о ней.

 

Задача 6.2. Определите потерю информации: а) в процессе таяния одного грамма льда при t _пл = 0° С; б) в процессе превращения в пар одного грамма воды при t _кип = 100° С. Удельная теплота плавления льда l = 3,3×10⁵ Дж/кг, удельная теплота парообразования воды r = 2,3×10⁶ Дж/кг.

Решение. При плавлении льда увеличивается неопределенность в положениях молекул из-за разрыва связей, скорости же молекул практически не изменяются. Энтропия увеличивается на величину

Дж/К.

Изменение информации о системе равно

= –1,21 Дж/К = –1,26×10²³ бит.

Аналогично находим изменение энтропии и информации при испарении воды

Дж/К = –6,45×10²³ бит.

Отсюда видно, что изменение информации в процессах плавления и парообразования составляет величину порядка 10²³ бит на грамм вещества. Это примерно на 11 порядков больше достигаемой сегодня плотности записи информации ~10¹² бит на грамм вещества.

 

Задача 6.3. В изолированной от внешней среды системе, состоящей из двух металлических тел одинаковой теплоемкости C, разделенных перегородкой с малой теплопроводностью, устанавливается тепловое равновесие. Начальные температуры тел равны T ₁ и T ₂. Определите уменьшение информации о системе в процессе установления равновесия, т.е. в процессе ее хаотизации.

Решение. Равновесная температура T находится из условия теплового баланса:

, .

Изменение энтропии системы равно

.

Подставим равновесную температуру:

,

где

> 0.

Изменение энтропии системы равно

.

Так как d > 0, из последней формулы следует, что D S > 0. Энтропия системы в процессе установления равновесия возрастает, что соответствует закону возрастания энтропии. Информация о системе уменьшается:

.