Топология и свойства

Нейронные сети прямого распространения

Искусственная нейронная сеть прямого распространения (ИНС ПР, англ. feed-forward network) содержит один или множество слоев нейронов. Такие сети иногда называют многослойным персептроном (англ. multi-layer perceptron).

Можно выделить следующие свойства ИНС ПР:

• Между нейронами внутри одного слоя нет связей;

• Отсутствуют обратные связи между слоями;

• Нейрон последующего слоя получает сигналы от всех нейронов предыдущего слоя (полносвязность);

• Количество входов, выходов, а также количество нейронов во внутренних слоях не обязательно одинаково.

Сети прямого распространения не имеют обратных связей (т.е. не имеют памяти). Этим они напоминают комбинационные логические схемы, поскольку сигнал на выходе полностью определяется текущими входами, весами связей и активационными функциями нейронов.

Большинство используемых на практике нейронных сетей относятся к классу ИНС ПР.

На рис. 3.1 показан вариант простейшей однослойной ИНС ПР с m нейронами и входным вектором длиной n.

Рисунок 3.1. Однослойная ИНС ПР

Многослойная НС состоят из чередующихся множеств нейронов и весов. При этом каждый слой ИНС может иметь произвольное количество нейронов. На рис. 3.2 показан пример трехслойной сети (входной слой просто распределяет сигналы).

Рисунок 3.2. Пример трехслойной ИНС ПР

Многослойные ИНС ПР являются универсальным аппроксиматорами – с их помощью можно описать любую функцию от одной или множества переменных [39]. Но для этого активационные функции нейронов сети должны быть нелинейными. В двухслойных сетях часто выбирается сигмоидная активационная функция для нейронов 1-го слоя, и линейная – для нейронов 2-го слоя.

Следует подчеркнуть, что в общем случае нельзя заранее предсказать, сколько слоев и сколько нейронов должна иметь ИНС ПР для решения конкретной проблемы. Этот вопрос решается методом проб и ошибок, с учетом имеющегося опыта.

Если ИНС ПР имеет два входа, то с ее помощью можно выполнять сложные классификации, выделяя на плоскости выпуклые или невыпуклые, ограниченные или неограниченные области. Есть ИНС ПР имеет три входа, то она выполняет задачи классификации в пространстве, если больше 3–х входов – то в гиперпространстве.

В системе MatLab ИНС ПР создается командой:

NEWFF(PR,[S1 S2...SN],{TF1 TF2...TFN},BTF,BLF,PF),

Где PR - R ×2 матрица минимальных и максимальных значений для каждого из R входных элементов; S1 S2...SN – количество нейронов в каждом слое (от 1-го до N -го); TF1 TF2...TFN – передаточные функции каждого слоя (по умолчанию используется 'tansig'); BTF, BLF – функции обучения (по умолчанию ' trainlm ' и ' learngdm '), PF – функция оценки качества работы (по умолчанию ' mse ').

Пример 3.1. Создать двухслойную ИНС ПР с одним входом и одним выходом:

>> P = [0 1 2 3 4 5 6 7 8 9 10];

>> net = newff(minmax(P),[5 1],{'tansig' 'purelin'});

Пример 3.2. Создать ИНС ПР с двумя входами и тремя нейронами в каждом из двух слоев:

>> net11 = newff([-1 2; 0 5], [3, 3]);