Компонент учитель

Рассмотрим следующий компонент искусственной нейронной сети – учитель в режимах обучения и дообучения. Существует ряд алгоритмов обучения, жестко привязанных к архитектуре нейронной сети. Примерами таких алгоритмов могут служить обучение (формирование синаптической карты) сети Хопфилда, обучение сети Кохонена и ряд других аналогичных сетей. Методы обучения нейронных сетей типа карт Кохонена представлены в работах [92,93,233,234].

Рассмотрим особенности алгоритмов обучения многослойных сетей, которые применяются в настоящей разработке. Минимизация функции оценки выполняется с привлечением градиентных методов оптимизации. Изучению градиентных методов обучения нейронных сетей посвящено множество работ [11,40,41,113,200,210,230]. Все градиентные методы объединены использованием градиента как основы для вычисления направления спуска. Для разработанного нейроимитатора применяются следующие методы: метод наискорейшего спуска, модифицированный ParTan, квазиньютоновский [40]. При обучении сети градиентными методами в качестве стандартной оценки работы нейросети (функции ошибки) выступает оценка по методу наименьших квадратов (МНК) [40,41]:

,

(4.9)

где Н – оценка работы нейросети, F_s^p (a, x _s) – значение р -ой компоненты вектора выходного сигнала нейросети, y _s^p – требуемое значение, S – число примеров, P – размерность вектора y.

В [40,41,110] отмечается, что процесс обучения нейросети можно значительно ускорить, если вместо оценки (4.9) применять более специализированные. Они строятся путем формализации требований к нейросетевому решателю для конкретного вида задач. Для задач регрессии более подходящей является оценка МНК с допуском [110]:

(4.10)

где e - допуск или допустимая погрешность, – требуемое значение сигнала, a - ответ сети; так как если целевое значение измерено с погрешностью e, то достаточно, если выданный сетью ответ попадет в интервал . При достижении этого результата пример считается решенным. Оценка вида (4.10) позволяет ускорить процесс обучения и получить более сглаженные нейросетевые функции, так как тогда требования к сложности нейросети выражаются не в виде оценки константы Липшица [41,110](4.5), а в виде (4.6), т.е. становятся более мягкими. Сглаженная функция, в свою очередь, обладает более высокими экстраполяционными и интерполяционными способностями [199].

Для задач классификации целевая переменная является дискретной (номинальной). Ее кодирование проводится в соответствие с (4.4), т.е. сеть будет иметь несколько выходных полей, каждому из которых соответствует определенный класс. Тогда ответом нейросети на предъявленный пример будет считаться номер класса, соответствующий номеру выходного параметра, на котором зафиксировано наибольшее значение сигнала (интерпретатор «победитель забирает все» [41]). В этом случае в качестве оценки работы нейросети предпочтительнее использовать оценку вида «расстояние до множества правильных ответов», предложенную в [41]:

(4.11)

где k – номер «истинного» класса, a_i – выходные сигналы сети, i =1.. P, P – число выходных сигналов, e - требуемыйуровень отличия «истинного» сигнала от остальных, r – функция расстояния до множества правильных ответов:

,

(4.12)

где b ₀= a_k - e, b_j = a_i – текущие выходные сигналы (за исключением a_k), переобозначенные таким образом, что b_j>b_j+1, j =1.. P -1, P – число выходных сигналов, l – максимальный номер, такой, что верно неравенство при l<P- 1, или равенство l=P- 1.