Ассоциативная память. Сеть Хопфилда

Кратко остановимся на одной из реализаций рекуррентных нейросетевых моделей – сетях Хопфилда, в которых предпринята попытка реализовать свойства ассоциативной памяти человеческого мозга. Принято говорить, что у человека возникла ассоциация, если при получении некоторой неполной информации он может подробно описать объект, к которому по его мнению относится эта информация. Задачи, решаемые ассоциативной памятью могут быть сформулированы следующим образом:

1.Соотнести входную информацию со знакомыми объектами, и дополнить ее до точного описания объекта.

2.Отфильтровать из входной информации недостоверную, а на основании оставшейся решить первую задачу.

Очевидно, что под точным описанием объекта следует понимать всю информацию, которая доступна ассоциативной памяти. Вторая задача решается не поэтапно, а одновременно происходит соотнесение полученной информации с известными образцами и отсев недостоверной информации.

Сформулируем задачу математически:

Пусть задан набор из M эталонов - N-мерных векторов ={y1i, y2i … yNi }. Требуется построить сеть, которая при предъявлении на вход произвольного образа - вектора ={x1, x2, … xN}- давала бы на выходе "наиболее похожий" эталон.

Всюду далее образы и, в том числе, эталоны ­ N -мерные векторы с координатами ±1. Эталон, "наиболее похожий" на ­ ближайший к вектор . Легко заметить, что это требование эквивалентно требованию максимальности скалярного произведения векторов и . Решение этой задачи может быть получено с помощью рекуррентной нейронной сети (Horfield, 1982), архитектура которой приведена на рисунке 5.

Рис. 5.Однослойная нейронная сеть с обратными связями. Пунктирные линии – нулевые веса.

В работе показано, что сеть с обратными связями является устойчивой, если ее матрица весов связей между слоями искусственных нейронов W_ij симметрична и имеет нули на главной диагонали. Таким образом, открывается возможность построения устойчивых нейросетевых моделей с обратными связями.

Сеть работает следующим образом:

1. На вход сети подается образ , а на выходе снимается образ .

2. Если ¹ , то полагаем = и возвращаемся к шагу 1.

3. Полученный вектор является ответом.

Такие сети могут быть использованы в задачах распознавания образов, задачах хранения и поиска информации. Емкость сети Хопфилда оценивается как 0.14´n, где n – количество искусственных нейронов в сети.