Пример применения сети Хопфилда

 

Хопфилд и Танк предложили использовать минимизирующие энергию нейронные сети для решения задач оптимизации В качестве примера они рассмотрели задачу коммивояжера.

Для решения этой задачи с помощью нейронной сети Хопфилда нужно закодировать маршрут активностью нейронов и так подобрать связи между ними, чтобы энергия сети оказалась связанной с полной длиной маршрута. Хопфилд и Танк предложили для этого следующий способ.

Рассмотрим сеть, состоящую из  бинарных нейронов, состояния которых мы обозначим , где индекс  кодирует город, а индекс  - номер города в маршруте (см. Рисунок 1). Если обозначить через  расстояние между -м и -м городами, решение задачи коммивояжера сводится к минимизации целевой функции

 

 

при дополнительных условиях

 

 и ,

 

первое из которых говорит о том, что любой город в маршруте встречается лишь однажды, а второе - что маршрут проходит через каждый город.

Общий подход к ограничениям в задачах оптимизации состоит в том, что в итоговый функционал, подлежащий минимизации, включаются штрафные члены, увеличивающие целевую функцию при отклонении от накладываемых ограничений. В данном случае в качестве энергии состояния сети можно выбрать функционал

 

,

 

где т.н. множитель Лагранжа  регулирует строгость соблюдения дополнительных условий в конечном решении.

 

Рисунок 1. Слева - один из возможных маршрутов коммивояжера в случае задачи с 5 городами. Справа - кодировка этого маршрута состояниями 25 бинарных нейронов.

 

Осмысленному решению будет соответствовать стационарное состояние сети, в котором лишь N нейронов сети будут активными () и в каждом столбце и в каждой строке матрицы  будет находиться один и только один единичный элемент.

Величина множителя Лагранжа  регулирует “торг” между поиском маршрута минимальной протяженности и осмысленностью вида самого маршрута. Частное решение, соответствующее локальному минимуму функционала , может быть осмысленным (второе слагаемое обращаются на нем в ноль), но первое слагаемое (длина маршрута) для него, возможно будет слишком велико. Наоборот, длина маршрута может быть достаточно мала, но одно из оставшихся слагаемых будет ненулевым и маршрут окажется не интерпретируем или недостаточен (например, проходит не через все города).

После того, как минимизируемая целевая функция для задачи коммивояжера построена, можно определить, какие связи в нейронной сети Хопфилда следует выбрать, так чтобы функционал энергии состояния в ней совпал с этой функцией. Для этого достаточно приравнять выражение для  к энергии рекуррентной сети:

 

.

 

Таким образом, находятся значения синаптических связей в сети:

 

и значений порогов нейронов . Общее число весов в сети - порядка .

Для улучшения ситуации Хопфилд и Танк предложили использовать сети с непрерывными (аналоговыми) нейронами, принимающими любые значения в интервале . В качестве тестовых они использовали задачи с 10 и 30 городами. В первом случае сеть в 20 попытках 16 раз эволюционировала к состояниям, описывающим осмысленный маршрут и в 10 случаях давала один из двух возможных оптимальных маршрутов. Поскольку для задачи с  городами полное число всевозможных маршрутов равно  (делитель 2N возникает вследствие инвариантности маршрута относительно циклического сдвига и обращения направления движения), то в задаче с 10 городами оно составляет 181440. Таким образом, выигрыш при использовании сети, по сравнению со случайным выбором составляет 105. В случае задачи с 30 городами полное число маршрутов приблизительно равно 4.4x1030. Экономия, даваемая сетью, составила в этом случае 1022. В дальнейшем было показано, что использование сети Кохонена дает лучшие результаты при решении той же задачи. Однако, поскольку на практике (в робототехнике, при проведении стыковки космических аппаратов, в автоматической навигации) необходимо быстро находить хорошее, но не обязательно лучшее решение, то при электронной реализации аналоговая сеть Хопфилда дает исключительно эффективное решение задач оптимизации.

В дальнейшем разные исследователи выявили и другие особенности описанного подхода. Было показано, что недостатком оригинальной схемы Хопфилда и Танка является то, что простейшая сеть Хопфилда имеет тенденцию включать в маршрут ближайшие друг к другу города. Это происходит из-за того, что в определяющую длину маршрута часть функции Ляпунова входят парные произведения состояний нейронов сети. В результате, с увеличением числа городов маршрут, предлагаемый сетью, как правило, распадается на локально оптимальные участки, соединение которых, однако, далеко от оптимального. Ситуацию можно улучшить, если стимулировать сеть находить, например, локально наилучшие тройки городов. Для этого основная часть функции Ляпунова может быть представлена в виде

 

.

 

Однако, сети, динамика которых направляется такой функцией Ляпунова, должны состоять из более сложных нейронов, нелинейно суммирующих внешние воздействия - нейронов высокого порядка (в данном случае - второго):

 

.

 

Купер показал, что использование таких сетей значительно улучшает результаты поиска оптимального решения. Так для  такая сеть вдвое чаще находит оптимальное решение, чем обычная сеть Хопфилда. Повышение порядка сети приводит к дальнейшему увеличению улучшению найденных сетью решений

Заключение

 

В данной курсовой работе было представлено, каким образом нейронные сети способны помочь людям в генерации знаний, которые основывались бы на всех первоначальных данных. Исследования в области нейронных сетей в основном достаточно наглядны. По сравнению с другими вычислительными методами в статистике и науке они имеют значительные преимущества. Так, у моделей на основе нейронных сетей очень гибкие теоретические требования; кроме того, им необходимы совсем небольшие объемы предварительных знаний относительно формирования задачи.

Как мощный механизм обучения нейронные сети могут широко применяться в различных областях. Существует, однако, возможность недоразумений в оценке методик машинного обучения. Они никогда не смогут полностью заменить людей в процессе решения задачи. Нейронные сети должны использоваться для обобщения данных, а не для определения, атрибуты и критерии которого весьма важны при сборе данных. Нейронные сети адаптивны по своей природе, они могут подражать решению проблемы человеком, но они не сообщат нам, какой из критериев решения задачи должен быть принят во внимание перед сбором данных. Кроме того, обучающиеся машины часто используются при формализации знаний из данных реального мира, но сами обучающиеся машины не могут генерировать принципы формализации.

Список используемой литературы

 

1. http://www.neyronn.ru/25-formalizaciya-nejroseti/

2. Лекции по теории и приложениям искусственных нейронных сетей Сергей А. Терехов Лаборатория Искусственных Нейронных Сетей НТО-2, ВНИИТФ, Снежинск

3. «Применение ИНС для создания экспертной системы диагностирования технологического оборудования» А.В. Семенченко Московский государственный строительный университет (МГСУ)

4. http://leonarus.com/2008/09/08/tipichnye-primery-primeneniya-nejronnyx-setej-v-menedzhmente/

5. Галушкин А.И. Применения нейрокомпьютеров в финансовой деятельности

6. Владимир Белов «О перспективах искусственного интеллекта»

7. «Нейронные сети Хопфилда» С.Короткий

8. Бэстенс, Д.-Э., Ван Ден Берг, В.-М., Вуд, Д. (1997). Нейронные сети и финансовые рынки. Принятие решений в торговых операциях. ТВП Научное издательство.