Критерии ошибок

Целью процедуры минимизации является отыскание глобального минимума — достижение его называется сходимостью процесса обу­чения. Поскольку невязка зависит от весов нелинейно, получить ре­шение в аналитической форме невозможно, и поиск глобального минимума осуществляется посредством итерационного процесса — так называемого обучающего алгоритма, который исследует поверх­ность невязки и стремится обнаружить на ней точку глобального минимума. Иногда такой алгоритм сравнивают с кенгуру, который хочет попасть на вершину Эвереста, прыгая случайным образом в разные стороны. Разработано уже более сотни разных обучающих алгоритмов, отличающихся друг от друга стратегией оптимизации и критерием ошибок.

Коль скоро обучение основывается на минимизации значения не­которой функции (показывающей, насколько результат, который выдает сеть на данном обучающем множестве, далек от образцового значения), нужно, прежде всего, выбрать меру ошибки, соответст­вующую сути задачи. Удачный выбор меры погрешности обычно приводит к более гладкой поверхности невязки и упрощает задачу обучения. Обычно в качестве меры погрешности берется средняя квадратичная ошибка:

,

где d_i – желаемая величина выхода, y_i – реально полученное на сети значение для i -го примера, N – количество примеров в обучающем множестве.

Минимизация величины Е осуществляется с помощью градиент­ных методов. В первом из них берется градиент общей ошибки, и ве­са W пересчитываются каждый раз после обработки всей совокупно­сти обучающих примеров («эпохи»). Изменение весов происходит в направлении, обратном к направлению наибольшей крутизны для функции ошибок:

здесь - определяемый пользователем параметр, который на­ зывается величиной градиентного шага или коэффициентом обуче­ния.