Стохастический нейрон

В математической модели нейрона, описанной в п.3, его выход n(t+1)однозначно определяется значением потенциала h(t)в соответствии с формулой (3.3). Можно построить иную модель нейрона, у которой выходной сигнал n(t+1) является случайным. Далее предлагается одна из возможных моделей стохастического нейрона.

Рассмотрим нейрон с двумя возможными состояниями +1 и -1. Если потенциал нейрона в момент времени t равен h(t), то на следующем такте дискретного времени вероятность события [n(t+1)=1] равна p₊(h),а события [n(t+1)=-1] – p_-(h). Согласно формуле полной вероятности

(5.1)

Существенно, что значения вероятностей p₊(h) и p_-(h) зависят от потенциала нейрона. Рассмотрим в качестве функции p₊(h) логистическую функцию:

(5.2)

Тогда на основании формулы (5.1) вычисляется выражение для p_-(h):

(5.3)/

Рис. 1.10. Зависимость вероятности значения n(t+1)=1 от потенциала h(t)

На рис.1.10 дана графическая иллюстрация к формулам (5.2), (5.3). Если потенциал нейрона h(t)= 0, то с равными вероятностями реализуются значения [n(t+1)=1] и [n(t+1)= -1]. Смещение потенциала нейрона в область положительных значений приводит к увеличению вероятности принять положительное значение [n(t+1)=1]. Отрицательный потенциал нейрона ведет к увеличению вероятности [n(t+1)= -1]. На рис.1.10 в качестве примера рассмотрено положительное значение потенциала h(t)= h.

Рассчитаем математическое ожидание случайного значения выхода n(t+1) нейрона, если его потенциал равен h(t) (далее в расчетной формуле временной аргумент опускается для краткости записи):

Элементарное преобразование выражения (5.4) приводит к следующей формуле:

(5.5)

Функция гиперболического тангенса th(x)является
сигмоидальной, ее возможные значения лежат в диапазоне (-1, +1). Построим детерминированный нейрон, у которого потенциал совпадает с потенциалом стохастического нейрона, а активационная характеристика определяется формулой:

(5.6)

Обозначим выход детерминированного нейрона n:

(5.7)

Сравнение формул (5.5) и (5.7) показывает, что выход детерминированного нейрона отслеживает среднее значение случайного выхода биполярного стохастического нейрона с состояниями +1 и -1. Здесь имеется в виду осреднение по множеству возможных реализаций биполярных последовательностей на выходе стохастического нейрона.

Если анализируется работа нейронной сети, построенной на стохастических нейронах, то соответствующая сеть, имеющая в своем составе детерминированные нейроны с активационными характеристиками - функциями гиперболического тангенса, отражает динамику работы стохастической нейронной сети в среднем по совокупности реализаций. Следует отметить, что сформулированное выше утверждение является приближенным, так как выражение (5.5) для математического ожидания выхода нейрона вычислялось при условии известного значения потенциала, в то время как в стохастической нейронной сети потенциалы нейронов также являются случайными. Фактически вычислялось значение M[n(t+1)|h(t)=h], а анализ замкнутой сети предполагает вычисление безусловного математического ожидания M[n(t+1)].Несовпадение указанных характеристик связано с нелинейностью преобразования сигнала нейроном.