Математическое описание нейронной сети

Рассмотрим совокупность N взаимосвязанных нейронов (рис. 7). Выход i-го нейрона обозначим n_i(t), потенциал – h_i(t), i=1,2,..., N. Введем векторы-строки n(t)= (n₁(t), n₂(t),... n_N(t)), h(t)=(h₁(t), h₂(t),... h_N(t)). Нейронная сеть, состоящая из Nуказанных нейронов, подвергается воздействию внешних сигналов. Это воздействие представлено вектором-строкой z(t)=(z₁(t), z₂(t),... z_M(t)) размерности M. Кроме внешнего воздействия z(t), i-й нейрон может получать возбуждение со стороны других нейронов. Допускается обратная связь с собственного выхода, так что совокупность всех возможных входов i-го нейрона образует вектор y(t)=(z(t), n(t)) размерности M+N=Q. По аналогии с выражением (3.1) потенциал h_i i-го нейрона может быть представлен в форме:

(4.1)

где w_ij, j=1,2,..., N, и v_ij, j=1,2,..., M, синаптические коэффициенты передачи соответствующих сигналов на i-ый нейрон, (-b) – смещение i-го нейрона. Введение матриц W={w_ij, i,j=1,2,..., N}, V={v_ij, i=1,2,..., N, j=1,2,..., M} и вектора b=(b_1,b₂,..., b_V) позволяет записать выражение (4.1) в краткой векторно-матричной форме:

(4.2)

Введем векторную активационную характеристику нейронов:

(4.3)

Нижний индекс в обозначении активационной характеристики Ө_i[h_i] i-го нейрона введен в связи с тем, что нейроны могут иметь разные активационные характеристики. Обозначение (4.3) позволяет записать совокупность скалярных преобразований

(4.4)

в векторной форме

(4.5)

На рис. 1.8 представлена схема преобразования данных i-м нейроном в соответствии с описанной выше математической моделью.

Рис. 1.8. Схема преобразования данных i-м нейроном в нейронной сети

Если активационные характеристики всех нейронов сети одинаковы, нейронная сеть называется однородной.

Выходы нейронной сети q₁(t), q₂(t),... q_L(t) образуют вектор-строку q(t) размерности Lи представляет собой некоторое подмножество выходов нейронов n₁(t), n₂(t),... n_N(t). Математически это представляется формулой:

(4.6)

где R- матрица размерности N*L.В качестве примера можно рассмотреть следующее матричное преобразование:

которое реализует формирование выходов q₁=n₂, q₂=n₄, q₃=n₅, нейронной сети, содержащей 5 нейронов.

Совокупность выражений (4.2), (4.5) и (4.6) представляет собой математическую модель нейронной сети, которая эволюционирует во времени t=0,1,2,..., отталкиваясь от начального состояния

(4.7)

где n₀ - вектор-строка размерности N.

Конфигурация связей в нейронной сети (ненулевые значения матриц W и V ) о пределяет ее архитектуру. В общем случае полный набор значений n₁(t), n₂(t), n_N(t) необходим для формирования состояния сети n₁(t+1), n₂(t+1),... n_N(t+1) в следующий такт дискретного времени. Такая сеть содержит внутренние обратные связи и называется рекуррентной. Она может эволюционировать бесконечно долго. В связи с описанными в п.3 особенностями активационных характеристик нейронов их выходы ограничены, и нейронная сеть является устойчивой (дает на произвольное входное воздействие ограниченную реакцию в любой момент времени t).

Частным случаем архитектуры нейронной сети является «сеть прямого распространения». В подобной сети сигнал на каждом такте дискретного времени продвигается от места приложения входного сигнала к выходу. Если воздействие на нейронную сеть является импульсным, т.е. присутствует на входе только на одном временном такте, то динамические процессы в сети развиваются в течение конечного интервала времени, пока входной сигнал недостигнет выходных нейронов. Наиболее часто используется частный вариант сети прямого распространения сигнала, который носит специальное название многослойной, или слоистой, нейронной сети. Пример многослойной нейронной сети приведен на рис.1.9. Эта сеть имеет М=3 входов, N=9 нейронов и L=1 выход. Связь между нейронами, принадлежащими одному слою, отсутствует. Также отсутствуют связи, «перепрыгивающие» один или несколько слоев. Многослойная нейронная сеть характеризуется матрицами Wи Vблочной структуры. В приведенном на рис1.9 примере матрицы Wи Vв формуле (4.1) имеют следующую структуру:

Напомним, что w_ij является коэффициентом передачи сигнала с j-го к i-му, а v_ij – коэффициент передачи сигнала с j-го входа к i-му нейрону.

Рис. 1. 9. Пример многослойной нейронной сети

Смещения нейронов в сети, представленной на рис. 1.9 полагаются равными нулю: b= 0. I

Матрица Qв формуле (4.6) для рассматриваемого примера имеет размерность 9*1 (N=9, L=1) и вырождается в вектор:

Сеть, представленная на рис.1.9, имеет 3 слоя. За три такта
дискретного времени приложенный ко входу сети сигнал достигает
выхода.