З. Основные понятия теории нейронных сетей

Нейрон j, j EMBED Î {1, 2,..., n }, задается совокупностью своих входов х_ji, i Î EMBED{1, 2,..., n }, весами входов w _ji, функцией состояния s_j и функци­ей активации f_j. Функция состояния определяет состояние нейрона в зави­симости от значений его входов, весов входов и, возможно, предыдущих со­стояний. Наиболее часто используются функции состояния, не зависящие от предыдущего состояния, вычисляемые либо как сумма произведений значений входов на веса соответствующих входов по всем входам

(, где n(j) – число входов нейрона j),

либо как расстояние между вектором входов X_j = { x _ji } и вектором весов входов W_j = {w _ji }, измеряемое в какой-либо метрике, например, ÷ w _{ji −} x _ji ê.

Функция активации у = f(s) определяет выходной сигнал нейрона как функ­цию его состояния s. Наиболее распространенными функциями активации являются ступенчатая пороговая, линейная пороговая, сигмоидная, арктан­генс, а также линейная и гауссиана, приведенные в таблице.

Название	Определение
Ступенчатая пороговая	у = 0 при s < а, у = 1 при s >= a
Линейная пороговая	y = 0 при s < a1, y = ks + b при a1 < = S < a2 , y = 1 при s >= a2, a2 = 1/k + a1
Сигмоидная	y = (1 + e –k(s – a))-1
Гиперболический тангенс	y = th (x) = (ex – e-x)/(ex + e-x)
Арктангенс	у = 2 arctg (х)/p
Линейная	y = ks + b
Гауссиана	y = e -k(s-a)

Линейные нейронные сети используют нейроны с линейной функцией ак­тивации, нелинейные — применяют нелинейную функцию активации, на­пример, пороговую или сигмоидную.

Нейронная сеть образуется, путем объединения ориентированными взвешенными ребрами выходов нейронов с входами. При этом граф межней­ронных соединений может быть ациклическим, либо произвольным графом с циклами. Вид графа служит одним из классификационных признаков типа нейронной сети, разделяющим сети на сети без циклов и сети с обратными связями.

Легко видеть, что, приняв некоторое соглашение о тактировании сети (времени срабатывания нейронов), мы получаем аппарат для задания алго­ритмов посредством нейронных сетей. Разнообразие этих алгоритмов ничем не ограничено, т. к. можно использовать нейроны с различными функциями активации, различными функциями состояния, двоичными, целочисленны­ми, вещественными и другими значениями весов и входов. Поэтому в тер­минах нейронных сетей можно описывать решение как хорошо формализо­ванных задач, например задач математической физики, так и плохо формализуемых задач распознавания, классификации, обобщения и ассо­циативного запоминания.

Нейронная сеть с обратными связями

Сети могут быть конструируемыми или обучаемыми. В конструируемой сети число и тип нейронов, граф межнейронных связей, веса входов нейронов определяются при создании сети, исходя из решаемой задачи. Например, при конструировании сети Хопфилда, функционирующей как ассоциа­тивная память, каждая входная последовательность из заранее определен­ного набора участвует в определении весов входов нейронов сети. После конструирования функционирование сети заключается в следующем. При подаче на входы частичной или ошибочной входной последовательности сеть через какое-то время переходит в одно из устойчивых состояний, пре­дусмотренных при ее конструировании. При этом на входах сети появляется последовательность, признаваемая сетью как наиболее близкая к одной из изначально поданных.

Число запоминаемых входных последовательностей М связано с числом нейронов в сети соотношением М < N/4 logN, где N — число нейронов.

В обучаемых сетях их графы межнейронных связей и веса входов изменяются при выполнении алгоритма обучения. По алгоритму обучения сети делятся на наблюдаемые, ненаблюдаемые и смешанные (гибридные). Первые при обуче­нии сравнивают заранее известный выход с получившимся значением. Вторые обучаются, не зная заранее правильных выходных значений, но группируя "близкие" входные векторы так, чтобы они формировали один и тот же выход сети. Ненаблюдаемое обучение используется, в частности, при решении зада­чи кластеризации. При смешанном алгоритме обучения часть весов определя­ется при наблюдаемом, а часть при ненаблюдаемом обучении.

Обучение осуществляется путем предъявления примеров, состоящих из наборов входных данных в совокупности с соответствующими результатами при наблюдаемом обучении и без последних при ненаблюдаемом. Эффективность решения задач нейронной сетью зависит от выбранной структуры нейронной сети, используемого алгоритма обучения, называемых в сово­купности нейропарадигмой, и полноты имеющейся базы данных примеров.