2015-09-06
669К настоящему времени сформировался обширный рынок нейросетевых продуктов. Подавляющее большинство продуктов представлено в виде моделирующего программного обеспечения. Ведущие фирмы разрабатывают также и специализированные нейрочипы или нейроплаты в виде приставок к обычным ЭВМ (как правило, персональным ЭВМ линии IBM PC AT). При этом программы могут работать как без нейро-приставок, так и с ними. В последнем случае быстродействие гибридной ЭВМ возрастает в сотни и тысячи раз.
Перечислим некоторые наиболее извесные и популярные нейросистемы и их производителей.
Пакет программ NeuralWorks Professional II Plus. Это одна из последних версий программного продукта NeuralWorks, разработаного фирмой NeuralWare. Пакет содержит программные модели десятков архитектур нейронных сетей (в том числе, некоторые из рассмотренных в этой книге). Фирма объявила также о выпуске версии пакета для рабочих станций типа SUN и параллельных процессоров nCUBE.
Пакет программ ExploreNet 3000. Разработка фирмы HNC, основанной профессором Робертом Хехт-Нильсеном. Пакет предоставляет широкие фозможности по моделированию и управлению данными. В качестве ускорителя используется аппаратные разработки фирмы HNC - нейропроцессоры ANZA и ANZA+, являющиеся одними из первых аппаратных решений. Фирма предложила также средство для разработки прикладных программ - специализированный язык программирования AXON, основанный на языке C.
Оболочка NeuroShell 2.0. Достоинством этой программы является совместимость с популярным пакетом управления данными MicroSoft Excel, что делает продукт удобным для массового использования.
В России известны также разработки НИИ многопроцессорных вычислительных систем, г.Таганрог (СБИС для цифровых нейрокомпьютеров, имеющая около 100000 вентилей и работающая на частоте 20 МГц), Московского центра нейрокомпьютеров (аппаратные системы на основе транспьютеров). Среди программных систем следует отметить разработки кафедры нейрокибернетики Красноярского университета, системы распознавания образов НИИ нейрокибернетики Ростовского университета и Института прикладной физики в Нижнем Новгороде.
В 1993 немецкая фирма Simens объявила о выпуске самого быстродействующего на сегодняшний день нейрокомпьютера, названного[24] SYNAPSE-I. Этот нейрокомпьютер в целом представляет собой систему из управляющей (host) машины и специализированного нейропроцессора с локальной памятью для синаптических весов. В каждой нейросетевой парадигме можно выделить относительно небольшой набор операций, специфических для нейронных сетей, который может быть очень эффективно в параллельном режиме выполнен на специализированном процессоре. К таким операциям относятся, например, умножение и сложение матриц и векторов, транспонирование матриц, вычисление пороговых преобразований, параллельное вычисление табличных функций и другие. Оставшиеся фрагменты алгоритма, имеющие развитую логику, но требующие обычно лишь несколько процентов от общего времени вычислений, могут быть успешно выполнены и на обычной ЭВМ. В нейрокомпьютере SYNAPSE-1 в качестве такой host-машины выступает рабочая станция Sun Sparc Station II. Плановое ускорение на нейро-операциях в SYNAPSE-1 будет составлять 8000 раз (!) по сравнению с host-станцией. Для пользователя предусмотрены удобный проблемно-ориентированный на нейросети язык программирования nAPL, среда программирования на языке C++ и удобная UNIX-совместимая операционная система.
Перечисленные выше нейросистемы являются относительно дорогими и предназначены в основном для профессионального использования. В учебно-исследовательских целях в приложении к этой книге приведена простая программа, реализующая алгоритмы обучения и распознавания однослойного персептрона. Читатель, знакомый с языком программирования Паскаль, может использовать эту программу, снабдив ее модулями ввода-вывода, для экспериментирования с нейроной сетью, а также в качестве введения в технологию создания нейропрограммного обеспечения.
Литература и учебно-методические материалы
1. Барский А.Б. Нейронные сети: распознавание, управление, принятие решений.-М.: Финансы и статистика, 2007.- 176с.:ил.-(Прикладные информационные технологии).
2. Gilev S.E., Gorban A.N., Mirkes E.M. Several methods for accelerating process jf neural networks in pattern recognition/ Krasnojarsk, 1990, 16 pp
3. Горбань А.Н., Россиев Д.А. Нейронные сети на персональном компьютере. - Новосибирск: Наука. Сибирская издательская фирма РАН, 1996. -276с.
4. Горбань А.Н. Обучение нейронных сетей.- М.: изд. СССР-США СП "ParaGraph", 1990.-159с.
5. Горбатков С.А., Полупанов Д.В. Методы нейроматемтики в налоговом контроле: Монография/ под ред. Д-ра тех. Наук, проф. С.А. Горбаткова.- Уфа: РИЦ Баш ГУ, 2008.-136 с., ил.
6. Зиновьев А.Ю. Визуализация многомерных данных. Монография. Красноярск: ИПЦ КГТУ, 2000.-168с.
7. Каллан, Роберт Основные концепции нейронных сетей.: Пер. с англ.-М.: Издательский дом «Вильямс», 2003.-288с.: ил. Парал. Тит. англ.
8. Круглов В.В. Борисов В.В. Искусственные нейронные сети. Теория и практика.-2-е изд., стереотип. М.: Горячая линия-Телеком, 2002.-382с: ил.
9. Машулина О.А., Лабинская А.А., Щербинина М.В. Лабораторный практикум по курсу «Ведение в теорию нейронных сетей».М.: МИФИ, 2000.-204 с.
10. Медведев В.С., Потемкин В.Г. Нейронные сети. MATLAB 6/ Под общ.ред. к.т.н. В.Г. Потемкина.- М.: ДИАЛОГ-МИФИ, 2002.-496с.-(Пакеты прикладных программ; Кн.4)
11. Методы нейроинформатики: Сб. научн. Трудов/ под ред. А.Н. Горбаня; Отв. За вып. М.Г. Доррер: КГТУ, Красноярск, 1998, 2004с.-205с.
12. Минаев Ю.Н., Филимонова О.Ю., Бенамеур Лиес Методы и алгоритмы решения задач идентификации и прогнозирования в условиях неопределенности в нейросетевом логическом базисе.- М.: Горячая линия- Телеком.2003.-205с.: ил.
13. Миркес Е.М. Нейрокомпьютер. Проект стандарта/ Е.М. Миркес.-Новосибирск: Наука. Сибирское предприятие РАН, 1999.-337с
14. Нейроинформатика / А.Н. Горбань, В.Л. Дунин-Барковский, А.Н. Кирдин и др.- Новосибирск: Наука, Сибирское предприятие РАН, 1998.-296с.
15. Нейронные сети. STATISTIKA Neural Networks: Пер. с англ.-М: Горячая линия- Телеком.2000.-182с., ил.
16. Нейропрограммы: Учеб.пособие: В 2 ч. Ч.1/ Л.В. Гилева, С.Е.Гилев,, А.Н. Горбань и др.; Под ред. А.Н. Горбаня; КГТУ, Красноярск, 1994.-137с.
17. Нейропрограммы: Учеб.пособие: В 2 ч. Ч.2/ Л.В. Гилева, С.Е.Гилев, А.Н. Горбань и др.; Под ред. А.Н. Горбаня; КГТУ, Красноярск, 1999.-123с.
18. Описание пакета нейропрограмм CLAB, Neuro Comp, Дом нейропрограмм, ИВМ СО РАН, Красноярск: 1995.-85с.
19. Осовский С. Нейронные сети для обработки информации / пер. с польского И.Д. Рудинского.-М.: Финансы и статистика, 2002.-344с.
20. Пятковский О.И. Интеллектуальные компоненты автоматизированных информационных систем управления предприятием: Монография - г. Барнаул": АлтГТУ.- Барнаул: изд-во АлтГТУ, -1999.-351с.
21. Пятковский О.И., Бутаков С.В., Рубцов Д.В. Методы построения интеллектуальных информационных систем анализа хозяйственной деятельности предприятий. - г.Барнаул: АлтГТУ, 1999.
22. Пятковский О.И., Бутаков С.В., Рубцов Д.В. Методы построения интеллектуальных информационных систем анализа хозяйственной деятельности предприятий. - г.Барнаул: АлтГТУ. - 1999. – 0/1.
23. Пятковский О.И. Интеллектуальные компоненты аналитических информационных систем управления организацией: Учебное пособие / Алт. гос. Техн. Ун-т им. И. И. Ползунова. – Барнаул: Изд-во АлтГТУ, 2002.-219 с.
24. Пятковский О.И., Павловский Е.В., Свит Т.Ф., Семкин Б.В.,Синицин В.А., Шевелева Л.В., Щербаков Н.П. Интегрированные образовательные учреждения/ под общ. Ред. Б.В. Семкина, г.Барнаул": АлтГТУ. -2009. –325с. 0/1.
25. Евстигнеев В.В., Пятковский О.И., Семкин Б.В., Хомутов О.И., Швецов Г.И. Управление вузом с разветвленной территориальной структурой на основе нейросетевых и геоинформационных технологий.- Новосибирск: Наука, 2003.-247с.
26. Пятковский О.И., Новоселов С.В. Аналитическая система оценки инновационного потенциала технического университета и его подразделений.-Новосибирск: Наука, 2007.-221 с.
27. Россиев А.А. Итерационное моделирование неполных данных с помощью многообразий малой размерности: Научное издание.- Новосибирск: Изд-во СО РАН, 2004.-78с.
28. Рутковская Д., Пилиньский М., Рутковский Л. Нейронные сети, генетические алгоритмы и нечеткие системы: Пер. с польск. И.Д. Рудинского.- М.: Горячая линия.- Телеком, 2007.-452 с.:ил.
29. Сентаготаи Я. Арбиб М. Концептуальные модели нервной системы.М.МИР, 1976.-198 с.
30. Терехов В.А. Нейросетевые системы управления. Учеб. Пособие для вузов/ В.А. Терехов, Д.В. Ефимов, И.Ю. Тюкин.- М.: Высш.шк. 2002.-183с.:ил.
31. Терехов С.А. Лекции по теории и приложениям нейронных сетей: Учебное пособие.-Снежинск.: МИФИ, 1995.
32. Усков А.А., Кузьмин А.В. Интеллектуальные технологии управления. Искусственные нейронные сети и нечеткая логика.- М.: Горячая Линия- Телеком, 2004.-143с.: ил.
33. Цыганков В.Д. Вселенная Хокинга и нейрокомпьютер. Серия «Информатизация России на пороге XXI века».-М.: СИНТЕГ, 2000,84с.
34. Цыганков В.Д. Нейрокомпьютер и мозг. Учебное пособие. Серия «Информатизация России в XXI веке».-М.: СИНТЕГ, 2001.-248с.
35. Уоссермен Ф. Нейрокомпьютерная техника.- М.: Мир, 1992.
36. Хайкин, Саймон. Нейронные сети: полный курс, 2-е изд., испр.: Пер с англ.- М. ООО «И.Д. Вильямс», 2006.- 1104с.: ил.- Парал. Тит. англ.
[1] В качестве учителя может выступать другая, уже обученная, нейронная сеть. При этом для оценки ошибки сравниваются выходы обеих сетей.
[2]При рассмотрении соответсвующих пространств предполагается использование обычных векторных операций сложения и умножения на скаляр (подробнее см. лекцию 2).
[3] Термин “фазовое пространство” пришел из статистической физики систем многих частиц, где под ним понимается совокупность координат и импульсов всех частиц, составляющих систему.
[4]При условии, конечно, если функция не задана явно, например, формулой. Однако для явно заданных функций обычно не возникает потребности представления их нейросетевыми моделями.
[5] Б.Банди. Методы оптимизации. М. Радио и связь, 1988
[6] Здесь не рассматривается ситуация, когда топология сети меняется в процессе обучения.
[7] В том же 1986 г. аналогичный (и даже более общий) метод обучения - метод двойственного функционирования - был предложен русским ученым В.А.Охониным.
[8] В соотвествии с принятой в лекции 4 терминологией, такую сеть мы будем называть двухслойной, по числу слоев обрабатывающих нейроподобных элементов.
[9] Хотя индексы в формулах являются “немыми”, введенные обозначения не вызовут недоразумений.
[10]Нужно отметить, что последовательная динамика в сети Хопфилда всегда приводит к одному устойчивому состоянию, токда как параллельная динамика может закончиться циклом из пары сменяющих друг друга состояний.
[11]Функция E также является и ограниченной, в силу конечности каждого из сомножителей и слагаемых.
[12]Это утверждение составляет содержание теоремы Коэна-Гроссберга (M.Cohen, S.Grossberg, 1983).
[13]Точнее здесь термин авто-ассоциативность, поскольку более общее понятие ассоциативности включает также и гетеро-ассоциативность, т.е. способность к восстановления одного образа пары по известному другому на основе связывающих их ассоциаций. Под ассоциативной связью вообще понимается такая связь между частями сложной системы, природа которой не устанавливается из рассмотрения этих частей по отдельности. Более подробную информацию можно найти в монографии Г.Николис, И.Пригожин. Познание сложного. М.Мир, 1990.
[14] Набор из N ортогональных образов составляет базиз пространства образов с N компонентами (см. лекцию 2).
[15] Трудности при построении теоретического обоснования увеличесния об’ема памяти связаны, по-видимому, с тем, что при разобучении используются не исходные, а некоторые, вообще говоря, неизвестные результирующие состояния.
[16] Более точно, NP-полной называется задача, вычислительные алгоритмы для решения которой требуют затрат, возрастающих быстрее, чем любая степень числа переменных или элементов N.
[17] Необходимо отметить, что для надежной расшифровки длина закодированного сообщения должна быть достаточно большой. В противном случае расчетные частоты появления символов и пар могут значительно отличаться от средних для данного языка значений.
[18]Предложены также и безитерационные механизмы латерального торможения.
[19]В оригинальной работе - critical feature pattern.
[20]Ф.Уоссермен. Нейрокомпьютерная техника. М.: Мир, 1992.
[21]Это утверждение об устойчивости поиска следует из теории АРТ.
[22]В оригинальной работе обучение рассматривается в терминах дифференциальных уравнений, из которых указанные нами значения получаются в виде предельных.
[23]Это замечание, конечно, не относится к сетям, выполняющим заданные функциональные отображения.
[24] Аббревиатура SYNAPSE в данном случае означает SY nthesis of N eural A lgorithms on a P arallel S ystolic E ngine (синтез нейронных алгоритмов на параллельном систолическом устройстве)
