Сети на основе радиально-базисных функций

Способы реализации ИНС

Нейронные сети могут быть реализованы программным или аппаратным способом.

Вариантами аппаратной реализации являются нейрокомпьютеры, нейроплаты и нейроБИС (большие интегральные схемы). Одна из самых простых нейроБИС – модель MD 1220 фирмы Micro Devices, которая реализует сеть с 8 нейронами и 120 синапсами. НейроБИС Adaptive Solutions является одной из самых быстродействующих: скорость обработки составляет 1,2 млрд межнейронных соединений в секунду (мнс/с).

Большинство современных нейрокомпьютеров представляют собой персональный компьютер или рабочую станцию, в состав которых входит дополнительная нейроплата. Наибольший интерес представляют специализированные нейрокомпьютеры, в которых реализованы принципы архитектуры нейросетей. Представителями таких систем являются компьютеры семейства Mark фирмы TRW (первая реализация перцептрона, разработанная Ф. Розенблатом, называлась Mark I). Модель Mark III фирмы TRW представляет собой рабочую станцию, содержащую до 15 процессоров семейства Motorola 68000 с математическими сопроцессорами. Все процессоры объединены шиной VME. Архитектура системы, поддерживающая до 65000 виртуальных процессорных элементов с более чем 1 млн настраиваемых соединений, позволяет обрабатывать до 450 тыс. мнс/с.

В тех случаях, когда разработка или внедрение аппаратных реализаций нейронных сетей обходятся слишком дорого, применяют более дешевые программные реализации.

Тема 5. Сети на основе радиально-базисных функций и сети каскадной корреляции

Основная идея сетей на основе радиальных базисных функций (RBF) состоит в нелинейном преобразовании входных данных в пространстве более высокой размерности. Теоретическую основу такого подхода составляет теорема Ковера о разделимости образов:

Нелинейное преобразование сложной задачи классификации образов в пространство более высокой размерности повышает вероятность линейной разделимости образов.

RBF-сети берут свое начало от теории точного приближения функций, предложенной Пауэлом в 1987 г. Пусть задан набор из N входных векторов xⁿ с соответствующими выходами yⁿ. Задача точного приближения функций – найти такую функцию y, чтобы y(xⁿ) = yⁿ, n = 1,...,N. Для этого Пауэл предложил использовать набор базисных функций вида , тогда получаем обобщённый полином вида:

(5.1)

Здесь w_n – свободно настраиваемые параметры.

Обычно в качестве базисной используют экспоненциальную функцию , также называемую функцией Гаусса, где μ и σ – регулирующие параметры, называемые соответственно центром и шириной окна функции.

Также в качестве базисных функций используются мультиквадратичная и обратная мультиквадратичная функции, соответственно:

Привмер аппроксимации неизвестной функции y(x) с помощью функций Гаусса показан на рисунке 5.1. На этом рисунке красная кривая представлена суммой синих гауссоид, ясно что для некоторой точки x основной вклад дают лишь несколько гауссоид, центры которых близки к этой точке. Поэтому такая аппроксимация называется локальной.

Рисунок 5.1 – Локальная аппроксимация функции.

Аппроксимация функции по формуле (5.1) дает плохие результаты для зашумленных данных, поэтому в 1988 г. Д. Брумхеад и Д. Лоув предложили модель RBF-сети. Сеть с радиальными базисными функциями (RBF-сеть) в наиболее простой форме представляет собой сеть с тремя слоями: входным слоем, одним скрытым слоем и выходным слоем. Скрытый слой выполняет нелинейное преобразование входного пространства в скрытое. В большинстве случаев, но не всегда, количество нейронов в скрытом слое больше размерности входного пространства. Выходной слой осуществляет линейное преобразование выхода скрытого слоя, т.е. в его нейронах всегда используется линейная функция активации.

С каждым скрытым элементом связывается радиальная базисная функция Φ(x). Каждая из этих функций берет комбинированный ввод и порождает значение активности, подаваемое на выход.

Связи элемента скрытого слоя определяют центр радиальной функции для данного скрытого элемента. В RBF-сети активизация нейронов задается дистанцией (евклидовой нормой) между весовым вектором и заданным в процессе обучения образцом:

(5.2)

Весовой вектор w_j служит центром радиально-базисной функции, соответствующей нейрону с номером j. Поэтому обозначим его как μ_j.

Правила задания и обучение RBF-сети

1. Число M базисных функций выбирается много меньше числа обучающих данных: M<<N. В качестве базисной функции здесь так же берут экспоненциальную функцию:

(5.3)

2. Центры базисных функций μ_j не опираются на точки входных данных, т.е. не совпадают ни с одним из входных векторов. Определение центров функций становится частью процесса обучения.

3. Для каждой из M базисных функций задается своя ширина окна σ_j, которая также определяется в процессе обучения RBF-сети. Как правило, значение σ_j делают чуть большим расстояния между центрами соответствующих базисных функций μ_j.

4. В сумму (5.1) добавляется константа w_k0 – порог нейрона и формальный скрытый нейрон Φ₀(x)=0. В итоге RBF-сеть будет описываться формулой:

(5.4)

Обучение RBF-сети происходит быстро и носит элементы как обучения «с учителем», так и «без учителя».

Имеем обучающий набор: множество входов {xⁿ} и соответствующих выходов {dⁿ}. На первом этапе определяются параметры базисных функций: μ_j, σ_j. Причем, используются только входные векторы {xⁿ}, т.е. обучение происходит по схеме «без учителя».

Для определения σ_j используется алгоритм «ближайшего соседа», который заключается в поиске разбиения множества {xⁿ} на M несмежных подмножеств S_j. Таким образом, необходимо минимизировать функцию:

, где – центры функций.

На втором этапе фиксируются базисные функции, т.е. параметры μ_j, σ_j постоянны. На данном этапе RBF-сеть эквивалентна однослойной нейронной сети. Затем обучение происходит по правилу обучения с учителем. Выражение энергии ошибки:

Так как E является квадратической функцией от весов w, то минимум E может быть найден решением системы линейных уравнений:

Решение такой системы находится быстро, и в этом одно из преимуществ RBF-сети над многослойным персептроном.

Среди недостатков RBF-сети по сравнению с MLP, обычно отмечают следующие: требуется больше обучающих примеров, а круг решаемых задач ограничен аппроксимацией и классификацией.