double arrow
Алгоритмы разобучения (забывания).

Возможность забывания ненужной, лишней информации является одним из замечательных свойств биологической памяти. Идея приложения этого свойства к искусственной нейросети Хопфилда “удивительно” проста: при запоминании образов обучающей выборки вместе с ними запоминаются и ложные образы. Их-то и следует “забыть”.

Соотвествующие алгоритмы получили название алгоритмов разобучения. Суть их сводится к следующему.

На первой фазе происходит обучение сети по стандартному правилу Хебба. Память наполняется истинными образами и множеством ложной информации. На следующей фазе (фазе разобучения) сети пред’является некоторый (случайный) образ l(0). Сеть эволюционирует от состояния l(0)к некоторому состоянию l(f), которое при большом об’еме обучающей выборки чаще всего оказывается ложным. Теперь матрица связей может быть поправлена, с целью уменьшить глубину минимума энергии, отвечающего этому ложному состоянию:

В качестве степени забывания e выбирается некоторое малое число, что гарантирует незначительное ухудшение полезной памяти, если состояние l(f)не окажется ложным. После нескольких “сеансов забывания” свойства сети улучшаются (J.J.Hopfield et al, 1983).

Данная процедура далека от формального теоретического обоснования[15], однако на практике приводит к более регулярной энергетической поверхности нейронной сети и к увеличению об’ема бассейнов притяжения полезных образов.






Сейчас читают про: