Нейронные сети

Сигмоид

Одной из наиболее распространеных является нелинейная функция с насыщением, так называемая логистическая функция или сигмоид (т.е. функция S-образного вида):

(3)

При уменьшении a сигмоид становится более пологим, в пределе при a=0 вырождаясь в горизонтальную линию на уровне 0.5, при увеличении a сигмоид приближается по внешнему виду к функции единичного скачка с порогом T в точке x=0.

Из выражения для сигмоида очевидно, что выходное значение нейрона лежит в диапазоне [0,1]. Одно из ценных свойств сигмоидной функции – простое выражение для ее производной, применение которого будет рассмотрено в дальнейшем.

(4)

Теперь рассмотрим, как из таких нейронов можно составлять сети из таких нейронов. Строго говоря, как угодно, но такой произвол слишком необозрим. Поэтому выделяют несколько стандартных архитектур, из которых путем вырезания лишнего или добавления строят большинство используемых сетей.

Можно выделить две базовые архитектуры:

- Полносвязные и слабосвязанные

- многослойные сети.

а) полносвязные

б) многослойные или слоистые

в) слабосвязные (с локальными связями)

В полносвязных нейронных сетях каждый нейрон передает свой выходной сигнал остальным нейронам, в том числе и самому себе.

Все входные сигналы подаются всем нейронам. Выходными сигналами сети могут быть все или некоторые выходные сигналы нейронов после нескольких тактов функционирования сети.

В слабосвязанных нейронных сетях каждый нейрон передает свой выходной сигнал некоторым остальным нейронам (но не всем), в том числе и самому себе.

Все входные сигналы подаются не обязательно всем нейронам. Выходными сигналами сети могут быть все или некоторые выходные сигналы нейронов после нескольких тактов функционирования сети.

В многослойных нейронных сетях (их часто называют персептронами) нейроны объединяются слои.

Слой содержит совокупность нейронов с едиными входными сигналами. Число нейронов в слое может быть любым и не зависит от количества нейронов в других слоях. В общем случае сеть состоит из нескольких слоев, пронумерованных слева на право.

Внешние входные сигналы подаются на входы нейронов входного слоя (его часто нумеруют как нулевой), а выходами сети являются выходные сигналы последнего слоя. Кроме входного и выходного слоев в многослойной нейронной сети есть один или несколько так называемых скрытых слоев.

В свою очередь, среди многослойных сетей выделяют:

- Сети прямого распространения (feedforward networks)

- Сети с обратными связями (recurrent networks)

Сети прямого распространения (feedforward networks) – сети без обратных связей.

В таких сетях нейроны входного слоя получают входные сигналы, преобразуют их и передают нейронам первого скрытого слоя, и так далее вплоть до выходного, который выдает сигналы для интерпретатора и пользователя. Если не оговорено противное, то каждый выходной сигнал n-го слоя передастся на вход всех нейронов (n+1)-го слоя; однако возможен вариант соединения n-го слоя с произвольным (n+p)-м слоем.

Структура слоистой нейронной сети

В сетях с обратными связями информация передается с последующих слоев на предыдущие.

Следует иметь в виду, что после введения обратных связей сеть уже не просто осуществляет отображение множества входных векторов на множество выходных, она превращается в динамическую систему и возникает вопрос об ее устойчивости.

Теоретически число слоев и число нейронов в каждом слое может быть произвольным, однако фактически оно ограничено ресурсами компьютера или специализированных микросхем, на которых обычно реализуется нейросеть. Чем сложнее сеть, тем более сложные задачи она может решать.