Лекция №11 12.04.12 Радиально симметричный шаблонный слой

В нейронах сетях с радиальными базисами функции, RBF в сетях. Нейроны реализуют функции которые радиально изменяются вокруг С и принимают не нулевые значения только в окрестности С. Скрытый нейрон отображает радиальные пространства, вокруг одиночной заданной точки, либо группы образующих кластер. Супер позицию сигналов поступающих от всех скрытых нейронов выполняет выходной нейрон. Тем самым получается отображения всего многомерного пространства. RBF сети, это сети без образных связей. Базовая архитектура предполагает наличие трех слоев, нейроны которых выполняют различные действия. Входной слой содержит сенсорные элементы которые связывают нейронные сети с внешней средой. Второй слой это единственный скрытый слой сети. Который называется шаблонным слоем и содержит нейроны радиального типа. Он выполняет нелинейное преобразование входного пространства в скрытое пространство. Выходной слой, как правило, состоит из одно или нескольких нейронов. Отображение скрытого слоя в выходной является линейным.

Это связанной с тем, что если не линейную проблему разместить в пространстве высокой размерности некоторым нелинейном образом, то вероятность того, что она будет линейно отделимой должна быть выше.

Радиально симметричный шаблонный слой.

Нейронные сети с радиальными базисными функциями содержат скрытой слой, радиально симметричных скрытых нейронов – шаблонный слой. Для того, чтобы шаблонный слой был радиально симметричным нужно выполнить:

1. Наличие центра, который представляется в виде вектора в сходном пространстве. Этот вектор обычно сохраняется в пространстве весов от входного слоя к слою шаблона.

2. Наличие способа измерения расстояния между входным вектором и центром. В качестве этого расстояния обычно принимает стандартное евклидово расстояние.

3. Наличие специальной функции прохождения от одного аргумента который определяет выходной сигнал нейрона путем отображения функции расстояния. Обычно это функция гаусса.

= exp(-s²)

С каждым шаблонным нейроном связывается некоторая функция

Каждая из этих функции берет комбинированный вход, и порождает значения активности, подаваемые на выход. Связи шаблонного нейрона определяют центр радиальной функции для данного скрытого нейрона выходной сигнал шаблонного нейрона, это функция только от расстояния между входным вектором x и сохраненным центром с_j.

Гиперплоскость разделяет это пространство на два класса в которых выполняет одно из условий

В отличие от сигмоидального нейрона радиальный нейрон представляет собой гипер сферу. Это гиперсфера производит шаровое разделение пространства вокруг центральной точки.

Радиальный нейрон можно считать естественным дополнением сигмоидального нейрона поскольку в случаи круговой симметрии данных уменьшается количество нейронов которые необходимы для разделения различных классов.

Математические основы RBF – сети.

Для решения сложных задач классификации образов основная идея заключается в нелинейном преобразовании входных данных в пространстве более высокой размерности. Математическую основу составляет теорема Ковера.

Нелинейное преобразование сложной задачи классификации образов в пространство более высокой размерности повышает линейной разделимости образа. Она базируется на двух основных положениях:

1. Определение нелинейной скрытой функции _i X (фор 3)

2. Высокая размерность скрытого пространства по сравнении с размерностью скрытого пространства. Определяется числом скрытых нейронов L.