Обучение ИНС, парадигмы обучения. Правила Обучения

Процесс функционирование ИНС, т.е сущность действий которые она способна выполнить, зависит от величин синоптических связей, поэтому разработчик выбрав структуру ИНС должен найти оптимальное значение весовых коэффициентов. Этот этап называется – обучение ИНС.

Схема процесса обучения следующая: Из БД выбирается пример, применяется ИНС и анализируется ответ, если ошибка мала, то ИНС считается обученной, Если ошибка велика- то происходит настройка весовых коэффициентов.

Обычно ИНС настраивают веса связи по имеющейся обучающей выборки, причем функционирование ИНС улучшается по мере итерационной настройки весовых коэффициентов.

Существует 3 парадигмы обучения:

1) Обучение с учителем – ИНС располагает правильными ответами, на каждый входной пример. Веса настраиваются таким образом, чтобы сеть производила ответы как можно более близкие к известным правильным. Целью является минимизация ошибки.

2) Обучение без учителя - не требует знания правильного ответа на каждый пример выборки. Раскрывается внутренняя структура данных, что позволяет распределить примеры по категориям.

3) При смешанном обучении – часть весов определяется как обучение с учителем, а остальная часть с помощью самообучения.

Все алгоритмы обучения делятся на 2 класса:

1) Детерминированные алгоритмы- обучение ИНС представляет собой жесткую последовательность действий

2) Стохастический алгоритм- обучения происходят на основе действий, подчиняющихся случайному процессу.

Вся информация, которая сеть имеет о задаче содержится в наборе примеров, поэтому качество обучения зависит от количества примеров выборки и от того, насколько полно эти примеры описывают задачу.

Существует 4 правила обучения:

1) Коррекция ошибок

2) Соревновательное обучение – выходные нейроны соревнуются между собой за активацию. Обучение позволяет кластеризовать входные данные, т.е. похожие примеры группируются сетью в соответствии с корреляцией и представляются одним элементом.

3) Правило Больцмана- представляет собой стохастическое правило обучения- целью которого является настройка весовых коэффициентов при которой состояние нейронов удовлетворяло желаемому распределению вероятности.

4) Правило Хебба - соответствует обучение без учителя, в которой весовые коэффициенты настраиваются если активизированы оба нейрона (источник и приемник).

8 2 Обучение ИНС. Оптимизационный характер обучения ИНС.

Этот этап называется – обучение ИНС.

В процессе функционирования ИНС формирует выходной сигнал Y в соответствии с входным сигналом X, реализуя некоторую функцию Y=G(X).

Если архитектура сети задана, то вид функции G определяется значением синоптических весов. Пусть решение некоторой задачи является функция y=f(t), заданная парами данных вход-выход (x,y) для которых Yn= F(Xn).

Обучение состоит в поиске функции G близкой к F в смысле некоторой функции ошибки Е.

Если выбрано множество обучающих примеров и и способ вычисления функции ошибки Е, то обучение ИНС превращается в задачу многомерной оптимизации с большой размерностью.

Для решения задачи оптимизации могут быть использованы классические алгоритмы оптимизации:
1) Алгоритм локальной оптимизации первого порядка (градиентный алгоритм, метод сопряженных градиентов и т.д.)

2)Алгоритм локальной оптимизации второго порядка: (Метод Ньютона, квазиньютоновский метод)

3) Стохастические методы оптимизации (метод Монте-Карло, поиск в случайном направлении и т.д.)

4) Алгоритмы глобальной оптимизации (методы перебора. Генетические алгоритмы).

Понравилась статья? Добавь ее в закладку (CTRL+D) и не забудь поделиться с друзьями: