Методы обучения нейронных сетей

Нейронные сети относятся к классу аппроксиматоров и «черных ящиков», аппроксимирующих некоторые функции вида Y = F(X), где Y – вектор выходных переменных, Х – вектор входных [5, 6, 9].

Процесс аппроксимации заключается в подборе весовых коэффициентов w_ij и называется обучением НС. То есть НС может функционировать в двух режимах:

- эксплуатации, когда на вход подаются сигналы, а на выходе снимаются результаты вычислений;

- обучения, когда происходит корректировка весов таким образом, чтобы выходные сигналы наиболее точно соответствовали желаемым.

От качества обучения НС зависит точность ее работы в режиме эксплуатации.

Структура процесса обучения представлена на рисунке 4, где обозначены: Y_жел – желаемые значения выходных сигналов, Е – ошибка обучения (Е = Y_жел – Y), К – корректирующие воздействия (обычно изменения весов Dw_ij).

Рисунок 4 – Процесс обучения НС

Для обучения НС составляется обучающая выборка входных сигналов и соответствующих им выходных. Выборка может быть разделена на две части: рабочую выборку (на основе которой производится собственно обучение) и тестирующую выборку (для проверки качества обучения).

Далее определяется структура НС. Для трехслойной НС количества входных и выходных нейронов определяются по количествам входных и выходных переменных. Количество нейронов в скрытом слое N_с может быть взято из условия:

,

где N_in и N_out – количества нейронов во входном и выходном слоях, N_p – количество обучающих примеров (объем выборки).

Весам синапсов необученной НС изначально присваиваются произвольные значения. Далее на вход НС подается первый вектор Х из рабочей выборки, определяется вектор Y и ошибка обучения Е. Исходя из значений вектора Е корректируются веса синапсов. Затем подается следующий вектор Х из выборки и т.д. Циклы обучения повторяются многократно, пока качество обучения не станет удовлетворительным (это можно проверить по тестирующей выборке).

Существует несколько методов обучения, которые можно классифицировать по способам использования учителя:

- обучение с учителем (коррекция весов производится исходя из сравнения текущего и желаемого выходных векторов);

- обучение с последовательным подкреплением знаний (сети не даются желаемые значения выходов, а ставится оценка «хорошо» или «плохо»);

- обучение без учителя (сеть сама вырабатывает правила обучения путем выделения особенностей из набора входных данных).

По использованию элементов случайности методы обучения подразделяются:

- на детерминистские (коррекция на основе анализа входных и выходных сигналов, а также дополнительной информации, например, желаемых выходов);

- на стохастические (случайное изменение весов в ходе обучения – Больцмановское обучение).

К детерминистским правилам обучения относятся правило Хебба, дельта-правило, правило Кохонена, ART-правило, правило обратного распространения [5].

Наиболее распространенным правилом для сетей MLP является правило обратного распространения (back propagation).

Для обучения RBF-сетей разработаны различные алгоритмы. Основной алгоритм использует двушаговую стратегию обучения, или смешанное обучение. Он оценивает позицию и ширину ядра с использованием алгоритма кластеризации "без учителя", а затем алгоритм минимизации среднеквадратической ошибки "с учителем" для определения весов связей между скрытым и выходным слоями. Поскольку выходные элементы линейны, применяется неитерационный алгоритм. После получения этого начального приближения используется градиентный спуск для уточнения параметров сети.

Этот смешанный алгоритм обучения RBF-сети сходится гораздо быстрее, чем алгоритм обратного распространения для обучения многослойных перцептронов. Однако RBF-сеть часто содержит слишком большое число скрытых элементов. Это влечет более медленное функционирование RBF-сети, чем многослойного персептрона. Эффективность (ошибка в зависимости от размера сети) RBF-сети и многослойного персептрона зависят от решаемой задачи.