Математическое описание процесса обучения с учителем

Нейронная сеть в процессе функционирования формирует выходной сигнал в соответствии c входным сигналом . При этом реализуется функция .

В случае когда архитектура нейронной сети задана видом функции определяется значение синоптических коэффициентов и смещения сети. Допусти, что решением некоторой задачи является функция, заданная парами входных и выходных данных

Обучения нейронных сетей состоит в нахождении (синтезе) функции близкой к в смысле некоторой функции ошибки Е.

Функция Е называется не вязкой или целевой функцией или функцией стоимости. Если выбраны множество обучающих примеров-пар ,.. K=1, N и способов вычисления функции ошибки Е, то обучение нейронной сети это задача многомерной оптимизации.

График невязки Е рассматриваемой как функции синоптических весов представляет собой поверхность многомерном пространстве весов. Это поверхность из-за нелинейности функции активации будет иметь плоские участки, локальные минимумы, седловые точки, овраги. Процедура активизации состоит в отыскании глобального минимума, достижение его называется сходимостью процесса обучения.

Поиск глобального минимума осуществляется с помощью алгоритма обучения – итерационного процесса, который исследует поверхность функции ошибки Е и стремится найти на ней точку глобального минимума.