Модель нейрона и архитектура сети

На рис. 6.1 показана радиальная базисная сеть с R входами. Функция активации
для радиального базисного нейрона имеет вид:

(6.1)

Вход функции активации определяется как модуль разности вектора весов w и вектора входа p, умноженный на смещение b.

Рис. 6.1

График функции активации представлен на рис. 6.2.

Рис. 6.2

Эта функция имеет максимум, равный 1, когда вход равен 0. Когда расстояние между векторами w и p уменьшается, выход радиальной базисной функции увеличивается.
Таким образом, радиальный базисный нейрон действует как индикатор, который формирует значение 1, когда вход p идентичен вектору весов w. Смещение b позволяет корректировать чувствительность нейрона radbas. Например, если нейрон имел смещение 0.1,
то его выходом будет 0.5 для любого вектора входа p и вектора веса w при расстоянии между векторами, равном 8.333, или 0.833/b.

Радиальная базисная сеть состоит из двух слоев: скрытого радиального базисного слоя, имеющего S ¹ нейронов, и выходного линейного слоя, имеющего S ² нейронов (рис. 6.3).

Рис. 6.3

Входами блока ||dist|| на этом рисунке являются вектор входа p и матрица весов IW ^1,1, а выходом – вектор, состоящий из S ¹ элементов, которые определяются расстояниями между i -м вектором входа p и i -й вектор-строкой _i IW ^1,1 матрицы весов. Такую вектор-строку будем называть вектором весов i -го нейрона. Выход блока ||dist|| умножается поэлементно на вектор смещения b ¹ и формирует вход функции активации. Тогда выход первого слоя может быть записан в следующей форме:

a{1}=radbas(net.prod(dist(net.IW{1,1},p),net.b{1})))

Использовать столь сложную запись при применении ППП Neural Network Toolbox не потребуется, поскольку все операции, связанные с созданием радиальной базисной сети, оформлены в виде специальных М-функций newrbe и newrb.

Для того чтобы понять поведение сети, необходимо проследить прохождение вектора входа p. При задании вектора входа каждый нейрон радиального базисного слоя выдаст значение в соответствии с тем, как близок вектор входа к вектору весов каждого нейрона. Таким образом, радиальные базисные нейроны с векторами весов, значительно отличающимися от вектора входа p, будут иметь выходы, близкие к 0, и их влияние на выходы линейных нейронов будет незначительно. Напротив, радиальный базисный нейрон с вектором весов, близким к вектору входа p, выдаст значение, близкое к 1, и это значение будет передано на линейный нейрон с весом, соответствующим выходному слою. Таким образом, если только 1 радиальный базисный нейрон имеет выход 1, а все другие имеют выходы, равные или очень близкие к 0, то выход линейного слоя будет равен весу активного выходного нейрона. Однако это исключительный случай, обычно выход формируют несколько нейронов с разными значениями весов.