Выбор начальных значений весовых векторов

Всем весам сети перед началом обучения следует придать начальные значения. Общепринятой практикой является присваивание весам небольших случайных значений. Однако рандомизация весов может породить некоторые проблемы при обучении. Наиболее желательное решение – распределение весовых векторов в соответствии с плотностью входных векторов.

Один из таких методов задания начальных значений носит название метода выпуклой комбинации. Он состоит в том, что все веса приравниваются одной и той же величине 1/(n)^1/2, где n- число входов и, следовательно, число компонент каждого вектора. Благодаря этому все весовые векторы совпадают и имеют единичную длину. Каждой же компоненте входа Х придается значение α xi+{[1/(n)^1/2](1- α)}, где n- число входов. Вначале α очень мало, вследствие чего все входные векторы имеют длину, близкую к 1/(n)^1/2, и почти совпадают с векторами весов. В процессе обучения сети α постепенно возрастает, приближаясь к единице. Это позволяет разделять входные векторы и окончательно приписывать им истинные значения. Весовые векторы отслеживают один или небольшую группу входных векторов и в конце обучения дают требуемую картину выходов. Метод выпуклой комбинации хорошо работает, но замедляет процесс обучения, так как весовые векторы подстраиваются к изменяющейся цели.

Третий метод начинает со случайных весов, но на начальной стадии обучающего процесса подстраивает все веса, а не только связанные с выигравшим нейроном Кохонена. Тем самым весовые векторы перемещаются ближе к области входных векторов. В процессе обучения коррекция весов начинает производиться лишь для ближайших к победителю нейронов Кохонена. Этот радиус коррекции постепенно уменьшается, так что в конце концов корректируются только веса, связанные только с выигравшим нейроном Кохонена.

Еще один метод наделяет каждый нейрон Кохонена “чувством справедливости”. Если он становится победителем чаще своей законной доли времени (примерно 1/k, где k- число нейронов Кохонена), он временно увеличивает свой порог, что уменьшает его шансы на выигрыш, давая тем самым возможность обучиться другим нейронам.