Статистическая теория вероятности

Модель нейрона, представленная на Рис. 1 является детерминированной, это значит что преобразование входного сигнала в выходной точно определено для всех значений выходного сигнала. Однако в некоторых случаях, лучше использовать стохастические нейро-сетевые модели, в которых функция активация имеет вероятностную интерпретацию. В стохастической модели нейрон может находится в 2 состояниях +1 или -1. Решение о переключении состояния нейрона принимается с учетом вероятности этого события. Обозначив состояние нейрона символом “y”, а вероятность функции “V”, где “V” - индуцированное локальное поле нейрона.

Вероятность P(v) описывается сигмоидальной функцией вида ; где T - аналог температуры (), который используется для управления уровнем шума, а следовательно степенью не определённостью переключения. При этом необходимо заметить, что параметр T не описывает физическую температуру нейронной сети, не биологической не искусственной. Это параметр управляет термальными флуктуациями, представляющими эффект синоптического шума. В случае, когда . Стохастический нейрон, описанный выражением , принимает детерминированную форму нейрона МакКалака - Питса без включения шума.