Искусственные нейронные сети

История развития

История ИНС начинается с 1943 года, когда У. Маккалок и У. Питтс предложили первую модель нейрона и сформулировали основные положения теории функционирования человеческого мозга.

С тех пор теория прошла довольно большой путь, а что касается практики, то годовой объем продаж на рынке ИНС в 1997 году составлял 2 млрд. долларов с ежегодным приростом в 50%.

Проблема машинной имитации человеческих мыслей воодушевляет ученых уже несколько столетий.

Более 50 лет назад были созданы первые электронные модели нервных клеток. Кроме того, появлялись много работ по новым математическим моделям и обучающим алгоритмам.

Сегодня так называемые нейронные сети представляют наибольший интерес в этой области. Они используют множество простых вычислительных элементов, называемых нейронами, каждый из которых имитирует поведение отдельной клетки человеческого мозга.

Принято считать, что человеческий мозг - это естественная нейронная сеть, а модель мозга - это просто нейронная сеть.

Отличительные особенности

- Способность к обучению на примерах.

- Способность к обобщению. Создание некоторого идеального абстрактного образа. Сравнивая с ним любой объект, мы сможем сказать, похож он или нет.

- Параллельность обработки информации (информация обрабатывается целиком).

- Ассоциативность памяти. Это способность находить нужную информацию по ее малой части.

Искусственные нейронные сети (ИНС) – вид математических моделей, которые строятся по принципу организации и функционирования их биологических аналогов – сетей нервных клеток (нейронов) мозга.

В основе их построения лежит идея о том, что нейроны можно моделировать довольно простыми автоматами (называемыми искусственными нейронами), а вся сложность мозга, гибкость его функционирования и другие важнейшие качества определяются связями между нейронами.

Человеческий мозг состоит из более чем 10¹¹ нервных клеток, имеющих более 10¹⁴ взаимосвязей.

На рис. показана упрощенная схема человеческого нейрона.

Сама по себе клетка состоит из ядра и внешней электромембраны. Каждый нейрон имеет уровень активации, лежащий в диапазоне между максимумом и минимумом, следовательно, в отличие от булевой логики, существует более чем два уровня активации.

Для увеличения или уменьшения активности данного нейрона другими нейронами существуют так называемые синапсы.

Они переносят величину активности от нейрона-отправителя к нейрону-получателю.

- Если синапс является возбуждающим, то величина активности нейрона-отправителя увеличивает активность нейрона-получателя.

- Если синапс является тормозящим, то величина активности нейрона-отправителя уменьшает активность нейрона-получателя.

Синапсы различаются не только по признаку торможения или возбуждения нейрона-получателя, но также и по суммарному воздействию (синаптическая мощность). Выходной сигнал каждого нейрона передается по так называемому аксону, который заканчивается более чем 10000 синапсами, влияющими на другие нейроны.

Рассмотренная модель нейрона лежит в основе большинства сегодняшних применений нейронной сети. Отметим, что данная модель является лишь очень грубым приближением действительности. На самом деле мы не можем смоделировать даже один единственный человеческий нейрон; это выше человеческих возможностей в моделировании. Следовательно, любая работа, базирующаяся на этой простой модели нейрона, не способна точно имитировать человеческий мозг. Многие успешные применения, использующие этот метод, обеспечили успех нейронным сетям, базирующимся на простой модели нейрона.

Множество математических моделей нейрона может быть построено на базе простой концепции строения нейрона. На рис. показана наиболее общая схема.

Так называемая суммирующая функция объединяет все входные сигналы x_i, которые поступают от нейронов-отправителей. Значением такого объединения является взвешенная сумма, где веса w_i представляют собой синаптические мощности. Возбуждающие синапсы имеют положительные веса, а тормозящие синапсы - отрицательные веса. Для выражения нижнего уровня активации нейрона к взвешенной сумме прибавляется компенсация (смещение).

Так называемая функция активации рассчитывает выходной сигнал нейрона Y по уровню активности f. Функция активации обычно является сигмоидной, как показано на рис. Другими возможными видами функций активации являются линейная и радиально-симметричная функции, и т.д.

а) функция единичного скачка; б) линейный порог (гистерезис);

в) сигмоид – гиперболический тангенс; г) сигмоид