2015-04-12
261
1) Правило коррекции по ошибке.
Процесс обучения ИНС состоит в коррекции исходных значений весовых коэффициентов межнейронных связей. При вводе входящих данных запоминаемого примера (стимула) появляется реакция, которая передается от одного слоя нейронов к другому, достигая последнего слоя, где вычисляется результат. Разность между известным значением результата и реакцией сети соответствует величине ошибки, которая может использоваться для корректировки весов межнейронных связей. Корректировка заключается в небольшом увеличении синаптического веса (порядка < 1%) тех связей, которые усиливают правильные реакции, и уменьшении тех, которые способствуют ошибочным. Это простейшее правило контролируемого обучения используется в однослойных сетях с одним уровнем настраиваемых связей между множеством входов и множеством выходов. При этом на каждом k -том шаге для j -того нейрона вес i -той связи определяется как:
wjik = wji ( k-1 ) + Δ wjik
Оптимальные значения весов межнейронных соединений можно определить путем минимизации среднеквадратической ошибки с использованием детерминированных или псевдослучайных алгоритмов поиска экстремума в пространстве весовых коэффициентов.
|
|
|
При этом возникает традиционная проблема оптимизации, которая связана с попаданием в локальный минимум.
Правило Хэбба
Правило Хэбба базируется на следующем нейрофизическом наблюдении: если нейроны по обе стороны синапса активизируются одновременно и регулярно, то сила их синаптической связи возрастает. При этом изменение веса каждой межнейронной связи зависит только от активности нейронов, образующих этот синапс. Это существенно упрощает реализацию алгоритмов обучения.
Обучение методом соревнования
В отличие от правила Хэбба, где множество выходных нейронов может возбуждаться одновременно, в данном случае выходные нейроны соревнуются (конкурируют) между собой за активизацию. В процессе этого соревновательного обучения осуществляется модификация весов связей выигравшего нейрона и нейронов, расположенных в его окрестности.
