Алгоритм обучения по дельта-правилу

Основы теории нейронных сетей

Все алгоритмы обучения нейросетей являются разновидностями алгоритма обучения по методу коррекции ошибки, которая осуществляется по-разному. Идея изменения весов НС сводится к нахождению общей меры качества сети, в качестве которой обычно выбирают функцию ошибки сети. Тогда, чтобы подобрать нужные веса, необходимо минимизировать функцию ошибки. Самым распространенным методом поиска минимума является метод градиентного спуска. Для случая функции с одной переменной веса изменяются в направлении, противоположном производной, т. е. справедлива формула

Wⁿ⁺¹ = Wⁿ - z F’ (W), где z -- некоторый уровень обучения, шаг изменения, а F’ (W) - производная функции качества НС для одной переменной.

Для функции F: Rⁿ ® Rⁿ от n переменных и единичного вектора e в пространстве Rⁿ || e || = 1, e Rⁿ, дифференциал выражается формулой .

Для случая e = (0,0.....1....0) определим частный дифференциал

Таким образом, антиградиент - это набор следующих дифференциалов:

¶ F (W) = ((- ¶ F (W₁),- ¶ F (W₂)... - ¶ F (W_i), - ¶ F (W_n)).

Для определения обобщенной функции ошибки рассмотрим обучающую выборку

{(x ^k, y ^k)}, где к = 1... К.

Накопленная по всем эпохам ошибка .

Формула модификации весов НС уточняется для различных видов функции активации. Пусть функция активации линейная, например, F (t) = t, тогда НС формирует каждый выход как скалярное произведение весов на вектор входов: O_i = < W_i, X_i > и градиент будет равен: , где Y_i - желаемый выход, O_i -полученный выход, а X - вектор выхода. Таким образом, с помощью метода градиентного спуска можно обосновать ранее введенную формулу изменения весов.

Если значением d назвать разницу (Y_i - O_i), то получим формулу , а это алгоритм обучения по d-правилу.

Если функция активации нелинейна, то d имеет более сложный вид, и необходимо определять ¶E/¶O - частные производные ошибки по выходам. Работу алгоритма иллюстрирует рис. 4.11.