Правило обратного распространения

Для обучения обычно используется НС с функциями активации сигмоидного типа. Целью обучения по правилу обратного распространения является минимизация ошибки обучения, которая определяется как

.

Для уменьшения ошибки веса изменяются по правилу

,

где n - константа, характеризующая скорость обучения. Данная формула описывает процесс градиентного спуска в пространстве весов.

Алгоритм обратного распространением состоит из следующих шагов.

Шаг 1. На вход НС подается вектор Х из обучающей выборки и вычисляются выходы всех нейронов Y_ij.

Шаг 2. Определяется величина градиента ошибки EI для каждого нейрона выходного слоя:

,

где Y_j – выход j-го нейрона выходного слоя.

Шаг 3. Двигаясь от последнего слоя к первому определяются градиенты EI_ij для каждого j-го нейрона каждого i-го слоя:

,

где k – номер синапса, соединяющего нейрон Н_ij c нейроном Н_i+1,k следующего слоя.

Шаг 4. Коррекция весов синапсов:

.

Коррекция весов для входного слоя не производится.

Шаг 5. Если обучающая выборка не закончилась, то шаги 1 – 5 повторяются.

Шаг 6. Определяется величина ошибки Е. Если она не удовлетворительна, то шаги 1 – 6 повторяются.

Из описанного алгоритма видно, что процесс обучения НС включает два вложенных цикла обучения: внутренний цикл (шаги 1 – 5) повторяется соответственно количеству примеров из обучающей выборки, внешний (шаги 1 – 6) – до тех пор, пока не будет достигнуто удовлетворительное (с точки зрения ошибки Е) качество обучения.

После успешного обучения НС может быть протестирована на тестовой выборке. Если ошибка обучения на каждом примере из тестовой выборки удовлетворительна, то НС можно считать обученной и приступать к ее эксплуатации.