Барнаул 2010

Министерство образования и науки

Российской Федерации

Государственное образовательное учреждение высшего

Профессионального образования «Алтайский государственный

Технический университет им. И.И. Ползунова»

О.И. Пятковский

Интеллектуальные информационные системы (Нейронные сети)

Учебное пособие

Изд-во АлтГТУ

Барнаул 2010

УДК 658.011.56 (075.5)

Пятковский О.И. Интеллектуальные информационные системы. (Нейронные сети). Учебное пособие / Алт.гос. техн. Ун-т им. И.И. Ползунова. - Барнаул: Изд-во АлтГТУ, 2010.-125с.

Рассмотрены и одобрены

на заседании кафедры

Информационных систем

в экономике

Протокол № от

Оглавление

1. Математические модели искусственных нейронных сетей [9] 6

1.1 Общие сведения о структуре биологического нейрона. 6

1.2 Математическая модель искусственного нейрона. 10

1.3 Математическое описание нейронной сети. 15

1.4 Стохастический нейрон. 20

1.5 Сравнение характеристик машины фон Неймана и нейронной сети. 22

2. Разработка структуры и функций нейроимитатора как элемента интеллектуальной информационной системы 24

2.1 Концепции применения нейросетевых компонентов в информационных системах. 24

2.2 Предварительная обработка информации на этапе проектирования нейросетевых компонентов 28

2.3 Формирование задачника для нейросети. 33

2.4 Особенности формирования нейронной сети. 38

2.5 Интерпретация сигналов нейронной сети. 38

2.6 Управляющая программа (исполнитель) 40

2.7 Компонент учитель. 40

2.8 Настройка параметров нейросети. 42

где. 44

2.9 Оценка и коррекция нейросетевой модели. 45

2.10 Конструктор нейронной сети. 46

2.11 Контрастер нейросети. 49

2.12 Логически прозрачные сети, получение явных знаний. 50

2.13 Решение дополнительных задач с помощью нейросетевых компонентов. 50

2.14 Разработка языка описания нейроимитатора для обмена данными. 53

3. Разновидности нейронных сетей [31] 58

3.1 ПЕРСЕПТРОН Розенблатта. 58

3.1.1 ПЕРСЕПТРОН Розенблатта. 58

3.1.2 Теорема об обучении персептрона. 60

3.1.3 Линейная разделимость и персептронная представляемость. 61

3.2 Свойства процессов обучения в нейронных сетях. 64

3.2.1 Задача обучения нейронной сети на примерах. 64

3.2.2 Классификация и категоризация. 66

3.2.3 Обучение нейронной сети с учителем, как задача многофакторной оптимизации. 68

3.3 Многослойный ПЕРСЕПТРОН. 70

3.3.1 Необходимость иерархической организации нейросетевых архитектур. 71

3.3.2 Многослойный ПЕРСЕПТРОН. 71

3.3.3 Обучение методом обратного распространения ошибок. 73

3.4 Другие иерархические архитектуры. 77

3.4.1 Звезды Гроссберга. 78

3.4.2 Принцип Winner Take All (WTA) - Победитель Забирает Все - в модели Липпмана-Хемминга. 78

3.4.3 Карта самоорганизации Кохонена. 80

3.4.4 Нейронная сеть встречного распространения. 82

3.5 Модель Хопфилда. 84

3.5.1 Сети с обратными связями. 84

3.5.2 Нейродинамика в модели Хопфилда. 85

3.5.3 Правило обучения Хебба. 87

3.5.4 Ассоциативность памяти и задача распознавания образов. 89

3.6 Обобщения и применения модели Хопфилда. 92

3.6.1 Модификации правила Хебба. 92

3.6.2 Матрица Хебба с ортогонализацией образов. 92

3.6.3 Отказ от симметрии синапсов. 93

3.6.4 Алгоритмы разобучения (забывания). 93

3.6.5 Двунаправленная ассоциативная память. 94

3.6.6 Детерминированная и вероятностная нейродинамика. 95

3.6.7 Применения сети Хопфилда к задачам комбинаторной оптимизации. 97

3.7 НЕОКОГНИТРОН Фукушимы. 101

3.7.1 КОГНИТРОН: самоорганизующаяся многослойная нейросеть. 102

3.7.2 НЕОКОГНИТРОН и инвариантное распознавание образов. 105

3.8 Теория адаптивного резонанса. 108

3.8.1 Дилемма стабильности-пластичности восприятия. 108

3.8.2 Принцип адаптивного резонанса. 109

3.8.3 Нейронная сеть AРT-1. 110

3.8.4 Начальное состояние сети. 113

3.8.5 Фаза сравнения. 113

3.8.6 Фаза поиска. 113

3.8.7 Обучение сети АРТ. 114

3.8.8 Теоремы АРТ. 116

3.8.9 Дальнейшее развитие АРТ: архитектуры АРТ-2 и АРТ-3. 116

3.8.10 Сети АРТ-2 и АРТ-3. 117

3.9 Черты современных архитектур. 118

3.9.1 Черты современных архитектур. 118

3.9.2 Сегодняшний день нейронауки. 119

3.9.3 Программное и аппаратное обеспечение. Нейро-ЭВМ. 121

4. Литература и учебно-методические материалы.. 123

ВВЕДЕНИЕ

Для обеспечения эффективного управления в необходимо дальнейшее развитие комплексной автоматизации управленческой деятельности предприятия с использованием современных информационных технологий, математического моделирования и методов искусственного интеллекта.

Разработка моделей, методов, алгоритмов и программных комплексов для решения неформализованных задач поддержки принятия решений на основе нейросетевых компонентов для оценки и прогнозирования экономических показателей деятельности предприятия является современной актуальной проблемой.

В учебном пособии представлены вопросы моделирования искусственных нейронных сетей, описание нейросетевых компонентов в интеллектуальных системах, разновидности нейронных сетей их характеристики и алгоритмы обучения. Глава 1 составлена по материалам [9], глава 2 составлена по материалам [31],

1. Математические модели искусственных нейронных сетей [9]