Нейронная сеть Хопфилда

Ассоциативная память

Ассоциативная память выстуапает в роле системы определяющию взаимную зависимость векторов. Когда на взаимосвязь исследуется компоненты одного и того же вектора, говорят об авто-ассоциативной памяти. Если взаимосвязны 2 различных вектора, то говорят о пямяти гетероассоциативного типа.

Примером автоассоциативной пямяти, не содержащей скрытых нейронов, является нейронная сеть Хопфилда.

Типичный представитель памяти гетероассоциативного типа, нейронная сеть Хемминг.

Основная функция ассоциативной памяти – это восстановление образа (объекта) в ответ на представление не полной или зашумлённой версии этого же объекта.

Таким образом, при предаставлении новой выборки, система должна сгенерировать ответ о том, какая из запомненных ранее выборок более близка к вновь поступившему образу.

В качестве меры близости отдельных множеств, часто применяется мера Хемминга. Пир двоичных значениях (0 и 1) элементов обоих векторов, расстояние Хемминга между двумя векторами (рис 2) имеет вид:

(фор2)

В случае биполярных значений -1 и +1 обоих векторов расстояние Хемминга определяется формулой:

(фор3)

Мера Хемминга равна 0, тогда и только тогда когда y=d, в противном случае она определятся кол-вом битов на которые различаются оба вектора.

Среди нейронных сетей существуют такие при классификации которых, по способу обучения, не подходят ни обучение с учителем, ни обучение без учителя.

В таких моделях нейронных сетей фиксированные точки соответствуют сохраняемым образам.

Синоптические веса сети, которые обеспечивают нахождение таких фиксированных точек рассчитываются только однажды, перед началм функционирования нейросети на основе информации об обрабатываемых данных. При этом всё обучение нейросети сводится именно к расчёту синоптических коэффициентов.

К нейро сетям с подобной логикой относятся сети Хопфилда и Хемминга.

Они представляют собой разновидности нейрнных сетей, с обратными связями, которые используются для организации ассоциативной памяти.

Архитектура нейронной сети Хопфилда имеет вид:

рис2

характерная особенность архитектуры сети Хопфилда зак-ся в том, что она состоит из единственного слоя нейронов, кол-во которых яв-ся одновременно числом входов и выходов нейросети. Каждый нейрон связан синапсами со всеми остальными нейронами, при этом он имеет единственный входной синапс, через который осуществляется ввод сигнала. Выходные сигналы образуются на аксонах и как правило выход каждого нейрона замыкается через элемент единичной задержки на все остальные нейроны. Это означает, что нейрон этой сети не имеет обратной связи с самим собой. То есть синоптический вес Wii=0 и матрица синоптических коэффициентов яв-ся симметрической W=W^t.

Задача которую решает данная сеть в качестве ассоциативной или контентно адрисуемой памяти, формируется следующим образом:

имеется некоторый набор двоичных сигналов, которые считаются образцовыми, этими сигналами могут быть например звуковые оцифровки,, изображения. При подачи на вход нейронной сети,произвольного не идеального сигнала, сеть должна выделить, то есть «Вспомнить» по частичной но существенной информации соответствующий образ.

Если такого образа нет, то нейросеть должна дать заключение, что входные данные не соответствуют не одному из образов.

Процесс обучения нейросети формирует зоны притяжения, (области аттракции) некоторых точек равновесия, соответствующих обучающим данным. Предположим, что каждый нейрон имеет сигнатурную функцию активации (лекция 1 или 2), в этом случае выходной сигнал нейрона i определяется в виде:

фор 4

где sgn – функция определения знака числа или сигнум функции

Предположим, что постоянная составляющая W0i которая определяет порог срабатывания отдельных нейронов, яв-ся компонентом вектора x(->).

Тогда без учёта единичных задержек, которые представляют собой способ синхронизации процесса передачи сигналов основные зависимости определяющие определяющие сеть Хопфилда будут иметь вид:

(фор5)

с начальным условием yi(0) =xj.

Сеть Хопфилда имеет 2 фазы функционирования:

1) ваза обучения

2) Ваза классификации

В режиме обучения на основе известных обучающих выборок x(->) подбираются весовые коэффициенты Wij

В режиме классификации, при зафиксированых значениях весов и вводе конкретного начального состояния нейронов

y(->)(0)=x(->), возникает переходный процесс, который протекает в соответствии с выражением (5). Он завершается в одном из локальных минимумов, где (фор6).

Важным параметром ассоциативной памяти считается её емкость – максимальное кол-во запомненных образов. Она классифицируются с допустимой погрешностью эпсилон max.(рис 5)

Сеть Хопфилда в некоторых случаях не может провести распознавание и выдает на выходе не существующий образ, это связано с проблемой ограниченности возможностей сети.

Для сети Хопфилда число запоминаемых образов, не должно превышать велечины 0,15n.