Машина Больцмана. Стохастическая модель нейрона

Правило обучения Больцмана, названное так в честь Людвига Больцмана, представляет собой стохастический алгоритм обучения, основанный на идеях стохастической механики. Нейронная сеть, созданная на основе обучения Больцмана, получила название машины Больцмана. В своей базовой форме машина Больцмана является сетью Хопфилда, использующей стохастическую модель нейронов.

В машине Больцмана нейроны могут находиться во включенном (соответствующем значению +1) или выключенном (-1) состоянии. Машина характеризуется функцией энергии,значение которой определяется конкретными состояниями отдельных нейронов, составляющих эту машину:

Работа машины заключается в выполнении следующих действий:

– случайном выборе некоторого нейрона j на определенном шаге процесса обучения;

– переводе этого нейрона из состояния хj в состояние - xj с вероятностью:

Где ΔE_J – изменение энергии машины, вызванное сменой состояния нейрона j: ;

T – псевдотемпература, котораяне описывает физическую температуру естественной или искусственной сети, а является параметром синаптического шума. Чем меньше синаптический шум, тем больше стохастический нейрон приближается к детерминированному. При многократном применении этого правила машина достигает термального равновесия.

Нейроны машины Больцмана можно разбить на две функциональные группы. Видимые нейроны реализуют интерфейс между сетью и средой ее функционирования, а скрытые работают независимо от внешней среды. Рассмотрим два режима функционирования такой сети.

• Скованное состояние (фаза фиксации), в котором все видимые нейроны находятся в состояниях, предопределенных внешней средой (т.е. заданы вход и целевой ассоциированный выход).

• Свободное состояние (фаза свободного выполнения), в котором фиксируется только входной вектор, а сеть работает, пока не стабилизируются значения выхода.

В течение обеих фаз собирается статистика, которая используется для изменения весов связей согласно правилу обучения Больцмана: