Алгоритм WTA

Алгоритмы обучения без учителя

Алгоритмы обучения, используемые для обучения нейронных сетей Кохонена, называются алгоритмами обучения без учителя. Подобные алгоритмы применяются в тех случаях, когда нет эталонных выходных значений для входных векторов.

Целью обучения сети с самоорганизацией на основе конкуренции, считается такое упорядочение нейронов, которое минимизирует значение отклонения вектора весов от входного вектора x. При p входных векторах x эта погрешность в эвклидовой метрике может быть выражена в виде:

, (5.13)

где - это вес нейрона-победителя при предъявлении вектора .

Этот подход также называется векторным квантованием (VQ). Номера нейронов-победителей при последовательном предъявлении векторов x образуют так называемую кодовую таблицу. При классическом решении задачи кодирования применяется алгоритм K-усреднений, носящий имя обобщенного алгоритма Ллойда.

Для нейронных сетей аналогом алгоритма Ллойда считается алгоритм WTA (Winner Takes All – победитель получает все). В соответствии с ним после предъявления вектора x рассчитывается активность каждого нейрона. Победителем признается нейрон с самым сильным выходным сигналом, то есть тот, для которого скалярное произведение оказывается наибольшим, что для нормализованных векторов равнозначно наименьшему эвклидову расстоянию между входным вектором и вектором весов нейронов. Победитель получает право уточнить свои веса в направлении вектора x согласно правилу

(5.14)

Веса остальных нейронов уточнению не подлежат. Алгоритм позволяет учитывать усталость нейронов путем подсчета количества побед каждого из них и поощрять элементы с наименьшей активностью для выравнивания их шансов.

Помимо алгоритмов WTA, в которых в каждой итерации может обучаться только один нейрон, для обучения сетей с самоорганизацией широко применяется алгоритмы типа WTM (Winner Takes Most – победитель получает больше), в которых, кроме победителя, уточняют значения своих весов и нейроны из его ближайшего окружения. При этом, чем дальше какой-либо нейрон находится от победителя, тем меньше изменяются его веса. Процесс уточнения вектора весов может быть определен в виде

(5.15)

для всех i нейронов, расположенных в окрестности победителя. В приведенной формуле коэффициент обучения каждого нейрона отделен от его расстояния до предъявленного вектора x функцией . Если определяется в форме

, (5.16)

для w обозначает номер победителя, то мы получаем классический алгоритм WTA. Существует множество вариантов алгоритма WTM, отличающихся,прежде всего формой функции . Для дальнейшего обсуждения выберем классический алгоритм Кохонена и алгоритм нейронного газа.