Нечеткие сети с самоорганизацией

.........

Гибридный алгоритм обучения

Обучение гибридных сетей

Сеть Ванга-Менделя

В сети данного типа выходной сигнал рассчитывается с помощью выражения

y(X) = sum[i=1:M](c_i*w_i)/sum[i=1:M](w_i)=

=sum[i=1:M](c_i*prod[j=1:N](mu_ij(x_j)))/sum[i=1:M](prod[j=1:N](mu_ij(x_j))),

где c_i - весовой коэффициент (с точки зрения нечетких систем это центр функции принадлежности правой части продукции), mu_ij() - функция Гаусса (в экспоненциальном или рациональном виде) с параметрами центра c_ij, ширины s_ij и формы b_ij (с точки зрения нечетких систем mu_ij() - функция принадлежности к нечеткому множеству).

Легко заметить, что выражение для y(X) в сети Ванга-Менделя является частным случаем аналогичного выражения в сети TSK, если в последней принять y_i(X)=c_i.

Поэтому сеть Ванга-Менделя проще и имеет следующую трехслойную структуру.

В данной сети параметрическими являются первый и третий слои.

Первый содержит M*N*3 нелинейных параметров функции Гаусса, а третий - M линейных параметров c_i.

Нечеткие нейронные сети (как Ванга-Менделя, так и TSK) могут быть обобщены на случай многих выходных переменных.

Их обучение, так же как и классических сетей, может проводиться как с учителем, так и без оного.

Обучение с учителем основано на минимизации целевой функции, определяемой с использованием Евклидовой нормы

E=(1/2)*sum[k=1:p]((y(X^k)-d^k)²).

Обучение без учителя основано на самоорганизации сети, обеспечивающей кластеризацию входных данных.

Данный алгоритм применим к обеим описанным выше структурам, но рассмотрим его касательно сетей TSK, как более общих.

Гибридный алгоритм обучения нечетких сетей можно считать вариантом гибридного алгоритма обучения радиальных сетей.

Алгоритм реализуется чередованием двух этапов:

1. при зафиксиронных значениях нелинейных параметров c_ij, s_ij и b_ij первого слоя нейронов отыскиваются значения линейных параметров p_ij третьего слоя сети;

2. при зафиксиронных значениях линейных параметров p_ij третьего слоя уточняются нелинейные параметры c_ij, s_ij и b_ij первого слоя сети.

Этап 1. На данном этапе обучения нелинейные параметры фиксированы. Выходной сигнал определяется как

y(X)=sum[i=1:M](w'*(p_i0+sum[j=1:N](p_ij*x_j))),

где w'=v_i=prod[j=1:N](mu_ij(x_j))/sum[l=1:M](prod[j=1:N](mu_lj(x_j)))=const.

Для K обучающих выборок <X^k,d^k>, k =1, 2,..., K, получаем систему K линейных уравнений

A*P=D,

где P=[p₁₀, p₁₁,..., p_1N,..., p_M0, p_M1,..., p_MN]^T - вектор весов третьего слоя сети, а D=[d¹, d²,..., d^k]^T - вектор ожидаемых значений, составленный из всех K обучающих выборок.

Матрица A представлена ниже:

v¹₁ v¹₁*x¹₁... v¹₁*x¹_N... v¹_M v¹_M*x¹₁... v¹_M*x¹_N

v²₁ v²₁*x²₁... v²₁*x²_N... v²_M v²_M*x²₁... v²_M*x³_N

v^k₁ v^k₁*x^k₁... v^k₁*x^k_N... v^k_M v^k_M*x^k₁... v^k_M*x^k_N

Количество строк K матрицы A значительно больше количества ее столбцов M*(N+1).

Решение этой системы линейных алгебраических уравнений может быть получено за один шаг следующим образом:

P= A⁺ *D,

где A⁺ - псевдоинверсия матрицы A.

Этап 2. Здесь фиксируются значения коэффициентов полиномов третьего слоя и осуществляется уточнение (обычно многократное) коэффициентов функции Гаусса для первого слоя сети стандартным методом градиента:

c^k+1_ij=c^k_ij-nu_c*дE^k/дc^k_ij,

s^k+1_ij=s^k_ij-nu_s*дE^k/дs^k_ij,

b^k+1_ij=b^k_ij-nu_b*дE^k/дb^k_ij,

где k - номер очередного цикла обучения (в режиме "онлайн" он совпадает с номером обучающей выборки).

С технической точки зрения получение аналитических выражений для производных целевой функции по нелинейным параметрам проблем не представляет.

Поскольку в череде этапов этап уточнения нелинейных параметров функции Гаусса имеет много меньшую скорость сходимости, то в ходе обучения реализацию этапа 1, как правило, сопровождает реализация нескольких этапов 2.

Сети данного типа на этапе обучения осуществляют группирование входных вектров X^k, k =1, 2,..., p, в M кластеров, каждый из которых определяется своим центром C_i, i =1, 2,..., M.

На этапе классификации сеть отождествляет очередной входной вектор данных X с одним из ранее определенных кластеров.

Нечеткая сеть с самоорганизацией имеет простую двухслойную структуру:

Нейроны первого слоя реализуют обощенную функцию Гауcса в рациональной форме:

mu_ij(x_j)=1/(1+((x_j-c_ij)/s_ij)^2*b_ij).

Каждый нейрон второго слоя характеризуется центром
C_i=[ц_1i, ц_2i,..., ц_Ni, ]^T.