Алгоритм нейронного газа

Лекция 14 26.04.12

Другим вариантом алгоритма WTM является алгоритм нейронного газа.

Его динамика подобна движению молекул газа.

Опишем этот алгоритм:

На каждой итерации «k» все нейроны сортируются в зависимости от их расстояния до вектора , где входной вектор.

Через обозначит удалённость i-го нейрона который занимает m- ю позицию в последовательности. Эта последовательность возглавляется нейроном победителем «i» при этом нейрон победитель имеет удалённость.

В результате сортировки нейроны размечаются в последовательности, которая соответствует возрастанию удалённости.

(1)

Значение функции соседства для j-го нейрона определяется формулой:

(2)

Где, m(j) – очередность, полученная в результате сортировки.

m(j) = 1,2,….,n-1

(сигма) – параметр, убывающий со временем, он аналогичен уровню соседства в алгоритме Коххонена. (см. пред. Лекцию).

Когда = 0, адаптации подвергается только нейрон победитель. В это случае алгоритм нейронного газа превращается в алгоритм WTA(победитель получает всё)

При , корректировки подлежат веса многих нейронов, при этом уровень уточнения зависит от функции

Чтобы достигнуть хороших результатов самоорганизации процесс обучения должен начинаться с большого значения параметра .

Уменьшения с течением времени может быть либо линейным, либо в соответствии с выражением:

(3)

где, - значение на «k» итерации.

(min и max) – принятые минимальная и максимальное значение сигма соответственно.
Максимально заданное кол-во итераций определяется коэффициентом

Коэффициент обучения j-го нейрона («этта»j(k)), тоже может изменяться либо, линейным способом или в соответствии с формулой:

(4)

где, «этта»j(0) – начальное значение коэффициента обучения.

«этта» (min) – априорно (заранее) заданное минимально значение соответствующее k=k(max).

При реализации алгоритма нейронного газа, можно применить определённое упрощение для сокращения объёма вычисления.

Это упрощение состоит в том, что при сортировке учитываются только нейроны, имеющие наиболее значимую величину функции

При этом, если в формуле (2), m(j)>>1(много больше 1), то значение функции = 0.

При сортировки нейронов а в последующем и при их адаптации можно ограничиться только первыми «K» нейронами, если положить(задать) K=3.

Алгоритм нейронного газа считается одним из наиболее эффективных средств самоорганизации нейронов в сети Кохонена.

Подбирая параметры управления процессом можно добиться хорошей организации нейронной сети, при этом скорость функционирования сети будет превышать достижимую скорость функционирования при применении классического алгоритма Кохонена.