2014-02-02
1012
Нейронная сеть в процессе функционирования формирует выходной сигнал 
в соответствии c входным сигналом 
. При этом реализуется функция 
.
В случае когда архитектура нейронной сети задана видом функции 
определяется значение синоптических коэффициентов и смещения сети. Допусти, что решением некоторой задачи является функция
, заданная парами входных и выходных данных 
Обучения нейронных сетей состоит в нахождении (синтезе) функции 
близкой к 
в смысле некоторой функции ошибки Е.
Функция Е называется не вязкой или целевой функцией или функцией стоимости. Если выбраны множество обучающих примеров-пар 
,.. K=1, N и способов вычисления функции ошибки Е, то обучение нейронной сети это задача многомерной оптимизации.
График невязки Е рассматриваемой как функции синоптических весов представляет собой поверхность многомерном пространстве весов. Это поверхность из-за нелинейности функции активации будет иметь плоские участки, локальные минимумы, седловые точки, овраги. Процедура активизации состоит в отыскании глобального минимума, достижение его называется сходимостью процесса обучения.
Поиск глобального минимума осуществляется с помощью алгоритма обучения – итерационного процесса, который исследует поверхность функции ошибки Е и стремится найти на ней точку глобального минимума.
