Двунаправленная ассоциативная память

Дальнейшее развитие нейросетевые архитектуры ассоциативной памяти получили в работах Барта Коско (B.Kosko, 1987). Им была предложена модель гетероассоциативной памяти, в которой запоминаяются ассоциации между парами образов. Запоминание происходит так, что при пред’явлении сети одного из образов восстанавливается второй член пары.

Запоминание образов через ассоциаций между ними весьма характерно для памяти человека. Вспоминание (воспроизведение) нужной информации может происходить путем построения цепочки ассоциаций. Так, например, наблюдая на улице столб дым из заводской трубы, вы вполне можете вспомнить, что оставили дома чайник на включенной плите.

Двунаправленная сеть в модели Коско состоит из двух слоев нейронов (слой A и слой B). Связи между слоями устроены таким образом, что каждый нейрон одного слоя связан с каждым нейроном другого слоя. Внутри слоев связи между нейронами отсутствуют, число нейронов на каждом слое может быть различным. Для запоминания предназначаются пары образов (x^a,x^b)^(a), a=1..p. Обучение задается правилом Хебба:

Динамика системы является параллельной и происходит по формулам:

Здесь {a_j}, j=1..N_a - состояния активности нейронов слоя A, {b_i}, i=1..N_b- слоя B. В качестве нейронной функции f может использоваться пороговая функция или сигмоид. В частном случае одинаковых слоев и одинаковых образов в обучающих парах сеть Коско полностью эквивалентна модели Хопфилда.

В процессе итерационной динамики состояния нейронов слоя A вызывают изменения состояний нейронов слоя B, те, в свою очередь, модифицируют состояния нейронов A, и так далее. Итерации, также как и в сети Хопфилда, сходятся, поскольку матрица связей симметрична. При пред’явлении сети только образа на слое A будет восстановлен также и соотвествующий образ на слое B, и наоборот.

Сеть Коско обладает также и свойством автоассоциативности: если одновременно известны некоторые фрагменты образов на слое A и B, то в процессе динамики будут одновременно восстановлены оба образа пары.