Обучение на основе коррекции ошибок

При обучении без учителя можно использовать правила конкурентного обучения.

Например: Если нейронная сеть состоит из 2 слоёв входного и выходного, то входной слой получает доступные данные, выходной слой состоит из нейронов, которые конкурирую друг с другом за право отклика на признаки, содержащиеся во входных данных. В каждый момент времени может быть активным только один нейрон. В простейшем случае нейронная сеть действует по принципу “Победитель получает всё”. При такой стратегии нейрон с наибольшим суммарным входным сигналом побеждает в соревновании и переходит в активное состояние. Такой нейрон называют нейроном-победителем, при этом все остальные нейроны отключаются.

Обучение без учителя является более чувствительным к выбору оптимальных параметров по отношению к обучению с учителем. Качества обучения без учителя сильно зависит от начальных значение синоптических коэффициентов. Обучение без учителя критично к выбору радиуса обучения и скорости его обучения. Важным является характер изменения коэффициента обучения.

Модели обучения нейронных сетей.

При создании нейронных сетей используют различные модели обучения. Существует 5 различных моделей обучения:

1) Обучение на основе коррекции ошибок;

2) Обучение с использование памяти;

3) Метод Хебба;

4) Конкурентное обучение;

5) Метод Больцмана.

Рассмотрим более подробно конкурентное обучение и обучение на основе ошибок.

1. (Хайки С. Нейронные сети. Полный курс;)

2. (Оссовский С.)

Рассмотрим нейронную сеть прямого распространения с одним или несколькими скрытыми слоями нейронов и единственным выходным нейроном “k”.

Нейрон “k” работает под управление вектора сигнала производимого одним или несколькими слоями нейронов, где “m” дискретное время (номер шага итерационного процесса настройки синоптических весов нейрона “k”)

Скрытые слои в свою очередь получают информацию из входного вектора (возбуждения),

передаваемого входному слою нейронной сети.

Выходной нейрона “k” обозначим . Этот сигнал является единственным выходом нейронной сети. Он будет сравниваться с желаемым выходом, который обозначим .

В результате получаем сигнал ошибки

Сигнал ошибки инициализирует механизм управления целью, которого является применение последовательности корректировок к синоптическим весам нейрона “k”.

Эти изменения нацелены на пошаговое приближение выходного сигнала к желаемому .

Эта цель достигается за счёт минимизации невязки (или функции стоимости или индекса производительности) E(m), которая определяется в терминах сигнала об ошибке по формуле:

E(m) - это текущее значение энергии ошибки. Пошаговая корректировка синоптических весов нейрона “k” продолжается до тех пор, пока система не достигнет устойчивого состояния, при котором синоптические веса практически стабилизируются, в этой точке процесс обучения останавливается.

Процесс обучения, который мы описали, называется обучением, основанным на коррекции ошибок.

Минимизации функции стоимости E(m) выполняется по дельта правилу, которое также называется Видроу – Хоффа.

Обозначим текущее значение синоптического веса нейрона “k” соответствующего элементу вектора на шаге дискредитации (m). Согласно дельта правилу изменение, изменение синоптического веса на шаге дискредитации (m) задаётся ворожением:

Где, ЭТТА(знак)- некоторая положительная константа называемая параметром скорости обучения.

Ошибка ek(m) вычисляется через множители из последующих слоёв и передается в обратном направлении.

Вычислив изменения синоптического веса по формуле (5) можно определить его новое значение на следующем шаге дискредитации:

Граф прохождения сигнала в процессе обучения на основе коррекции ошибок для нейрона “k” имеет вид: (Рис 5)

Описание рисунка: Входной сигнал и потенциал активации нейрона “k” представляются в виде предсинаптического и постсинаптического сигнала j-го сигнала нейрона “N”.

Из рисунка (5) следует обучение на основе коррекции ошибок - это пример замкнутой системы обратной связи.

Устойчивость такой системы определяется параметрами обратной связи. В данном случае существует всего 1 обратная связь и единственный параметр – коэффициент скорости обучения .

Выбор параметра ЭТТА, влияет на точность процесса обучения, ему отводится ключевая роль в обеспечении производительности процесса обучения на практике.

Таким образом алгоритм обучения по дельта правилу состоит из 6 шагов. (Они рассмотрены в тетради по практике).