Предметный указатель

A

ADAPT · 320, 475

ADAPTWB · 322, 475

B

BOXDIST · 305, 474

C

CALCA · 420, 478

CALCA1 · 422, 478

CALCE · 424, 478

CALCE1 · 425, 478

CALCGX · 430, 478

CALCJEJJ · 433, 478

CALCJX · 432, 478

CALCPD · 423, 478

CALCPERF · 429, 478

CELL2MAT · 436, 478

COMBVEC · 437, 478

COMPET · 292, 474

CON2SEQ · 438, 478

CONCUR · 439, 478

D

DDOTPROD · 298, 474

DHARDLIM · 282, 474

DHARDLMS · 283, 474

DISP · 454, 479

DISPLAY · 454, 479

DIST · 300, 474

DLOGSIG · 294, 474

DMAE · 381, 476

DMSE · 378, 476

DMSEREG · 379, 476

DNETPROD · 309, 475

DNETSUM · 307, 475

DOTPROD · 298, 474

DPOSLIN · 285, 474

DPURELIN · 284, 474

DRADBAS · 289, 474

DSATLIN · 286, 474

DSATLINS · 288, 474

DSSE · 377, 476

DTANSIG · 296, 474

DTRIBAS · 290, 474

E

ERRSURF · 451, 479

F

FORMX · 426, 478

G

GENSIM · 465, 479

GENSIMM · 470, 479

GETX · 428, 478

GRIDTOP · 457, 479

H

hardlim · 282, 474

hardlimS · 283, 474

HEXTOP · 457, 479

HINTONW · 448, 479

HINTONWB · 449, 479

I

IND2VEC · 440, 478

inIT · 310, 475

inITCON · 318, 475

inITLAY · 312, 475

inITNW · 313, 475

inITWB · 313, 475

inITZERO · 314, 475

L

LEARNCON · 394, 476

LEARNGD · 387, 476

LEARNGDM · 388, 476

LEARNH · 476

LEARNHD · 477

LEARNIS · 395, 477

LEARNK · 392, 477

LEARNLV1 · 389, 477

LEARNLV2 · 391, 477

LEARNOS · 396, 477

LEARNP · 383, 477

LEARNPN · 384, 477

LEARNSOM · 397, 477

LEARNWH · 385, 477

LEARNН · 399

LEARNНD · 401

linkdist · 306, 474

logsig · 294, 474

M

mae · 381, 476

mandist · 303, 475

MAT2CELL · 441, 478

MAXLINLR · 400, 477

midpoint · 315, 475

MINMAX · 441, 478

mSe · 378, 476

mSeREG · 379, 476

N

negdist · 302, 475

netprod · 309, 475

netSUM · 307, 475

netWC · 271, 473

netWORK · 245, 473

neWCF · 260, 473

neWELM · 277, 473

neWFF · 255, 473

neWFFTD · 258, 473

neWGRNN · 267, 473

neWHOP · 280, 473

neWLIN · 250, 473

neWLIND · 253, 473

neWLVQ · 276, 473

NEWP · 248, 473

neWPNN · 269, 473

neWRB · 263, 473

neWRBE · 265, 473

neWSOM · 273, 473

NNTOOL · 459, 479

NORMC · 442, 478

nORMPRod · 299, 475

NORMR · 442, 478

P

PLOTEP · 452, 479

PLOTES · 451, 479

PLOTPC · 446, 479

PLOTPERF · 450, 479

PLOTPV · 445, 479

PLOTSOM · 455, 479

PLOTV · 443, 479

PLOTVEC · 444, 479

PNORMC · 442, 478

POSLIN · 285, 474

POSTMNMX · 413, 477

POSTREG · 415, 477

POSTSTD · 414, 477

PREMNMX · 410, 477

PREPCA · 477

PRESTD · 411, 477

PREРСА · 412

purelin · 284, 474

Q

QUANT · 443, 478

R

RADBAS · 289, 474

RANDN · 475

randnc · 317

randnR · 318, 475

randS · 316, 475

RANDTOP · 458, 479

REVERT · 319, 475

S

satlin · 286, 474

satlinS · 288, 474

SEQ2CON · 438, 479

SETX · 428, 478

SIM · 459, 479

softmax · 293, 474

SRCHBAC · 409, 477

SRCHBRE · 405, 477

SRCHCHA · 408, 477

SRCHGOL · 404, 477

SRCHHYB · 406, 477

sSE · 377, 476

SUMSQR · 443, 479

T

TANSIG · 296, 474

train · 328, 475

trainb · 331, 475

trainbfg · 365, 475

trainbr · 373, 475

trainc · 334, 476

traincgb · 361, 475

traincgf · 356, 476

traincgp · 358, 476

traingd · 344, 476

traingda · 346, 476

TRAINGDM · 348, 476

traingdx · 351, 476

TRAINGSCG · 476

trainlm · 370, 476

trainoss · 368, 476

trainr · 337, 476

trainrp · 353, 476

trains · 325, 476

trainscg · 363

TRAMNMX · 417, 477

TRAPCA · 418, 477

TRASTD · 417, 477

tribas · 290, 474

V

VEC2IND · 440, 479

Литература

Книги на английском языке:

1. Battiti R. First and second order methods for learning: Between steepest descent
and Newton’s method. // Neural Computation. 1992. Vol. 4, N 2. P. 141–166.

2. Beale E. M. L. A derivation of conjugate gradients in F. A. Lootsma.// Numerical
methods for nonlinear optimization. London: Academic Press, 1972.

3. Brent R. P. Algorithms for Minimization Without Derivatives. Englewood Cliffs,
NJ: Prentice-Hall, 1973.

4. Brent R. P. Introduction to Non-Linear Estimation. 1985.

5. Caudill M. Neural Networks Primer. San Francisco, CA: Miller Freeman Publications, 1989.

6. Caudill M., Butler C. Understanding Neural Networks: Computer Explorations: Vols. 1, 2. Cambridge, MA: MIT Press, 1992.

7. Chen S., Cowan C. F. N., Grant P. M. Orthogonal least squares learning algorithm for radial basis function networks// IEEE Transactions on Neural Networks. 1991. Vol. 2,
N 2. P. 302-309.

8. Charalambous C. Conjugate gradient algorithm for efficient training of artificial neural networks// IEEE Proceedings. 1992. Vol. 139, N 3. P. 301–310.

9. Dennis J. E., Schnabel R. B. Numerical Methods for Unconstrained Optimization
and Nonlinear Equations. Englewood Cliffs, NJ: Prentice-Hall, 1983.

10. Elman J. L. Finding structure in time// Cognitive Science. 1990. Vol. 14. P. 179-211.

11. Foresee F. D., Hagan M. T. Gauss-Newton approximation to Bayesian regularization// Proceedings of the 1997 International Joint Conference on Neural Networks. 1997.
P. 1930-1935.

12. Fletcher R., Reeves C. M. Function minimization by conjugate gradients// ComputerJournal. 1964. Vol. 7. P. 149-154.

13. Gill P. E., Murray W., Wright M. H. Practical Optimization. New York: Academic
Press, 1981.

14. Grossberg, S. Studies of the Mind and Brain. Drodrecht, Holland: Reidel Press, 1982.

15. Hagan M. T., Demuth H. B. Neural Networks for Control// Proceedings of the 1999American Control Conference. SanDiego: CA, 1999. P. 1642-1656.

16. Hagan M. T., De Jesus O., Schultz R. Training Recurrent Networks for Filtering
and Control. Ch. 12.// Recurrent Neural Networks: Design and Applications,
L. Medsker, L.C. Jain,Eds. CRC Press, 1999. P. 311-340.

17. Hagan M.T., Menhaj M. Training feedforward networks with the Marquardt algorithm// IEEE Transactions on Neural Networks.1994. Vol. 5, N 6. P. 989–993.

18. Hagan M. T., Demuth H. B., Beale M.H. Neural Network Design. Boston, MA: PWS Publishing, 1996.

19. Hebb D. O. The Organization of Behavior. New York: Wiley, 1949.

20. Himmelblau D. M., Applied Nonlinear Programming. New York: McGraw-Hill, 1972.

21. Hunt K. J., Sbarbaro D., Zbikowski R., Gawthrop P. J. Neural Networks for Control System – A Survey// Automatica. 1992. Vol. 28. P. 1083-1112.

22. Jolliffe I. T. Principal Component Analysis. New York: Springer-Verlag. 1986.

23. Kohonen T. Self-Organization and Associative Memory.2nd ed. Berlin: Springer-Verlag, 1987.

24. Kohonen, T. Self-Organizing Maps, Second Edition. Berlin: Springer-Verlag. 1997.

25. Li J., Michel A. N., Porod W. Analysis and synthesis of a class of neural networks: linear systems operating on a closed hypercube// IEEE Transactions on Circuits and Systems. 1989. Vol. 36, N 11. P. 1405-1422.

26. Lippman R. P. An introduction to computing with neural nets// IEEE ASSP Magazine. 1987. P. 4-22.

27. MacKay D. J. C. Bayesian interpolation// Neural Computation. 1912. Vol. 4. N 3.
P. 415-447.

28. McCulloch W. S., Pitts W. H. A logical calculus of ideas immanent in nervous activity// Bulletin of Mathematical Biophysics. 1943. Vol. 5. P. 115-133.

29. Moller M. F. A scaled conjugate gradient algorithm for fast supervised learning// NeuralNetworks. 1993. Vol. 6. P. 525-533.

30. Murray R. D., Sbarbaro N. D. Neural Networks for Modeling and Control of a Non-linear Dynamic System//Proceedings of the 1992 IEEE International Symposium on IntelligentControl.1992. P. 404-409.

31. Narendra K. S., Mukhopadhyay S. Adaptive Control Using Neural Networks and Approximate Models// IEEE Transactions on Neural Networks. 1997. Vol. 8. P. 475-485.

32. Nguyen D., Widrow B. The truck backer-upper: An example of self-learning in neural networks// Proceedings of the International Joint Conference on Neural Networks. 1989. Vol 2. P. 357-363.

33. Nguyen D., Widrow B. Improving the learning speed of 2-layer neural networks by choosing initial values of the adaptive weights// Proceedings of the International JointConference on Neural Networks. 1990. Vol 3. P. 21-26.

34. Powell M. J. D. Restart procedures for the conjugate gradient method// MathematicalProgramming. 1977. Vol. 12. P. 241-254.

35. Purdie N., Lucas E. A., Talley M. B. Direct measure of total cholesterol and its
distribution among major serum lipoproteins// Clinical Chemistry.1992. Vol. 38, N 9.
P. 1645-1647.

36. Riedmiller M., Braun H. A direct adaptive method for faster backpropagation learning: The RPROP algorithm// Proceedings of the IEEE International Conference on Neural Networks. 1993.

37. Rosenblatt F. Principles of Neurodynamics. Washington D. C.: Spartan Press, 1961;
:Пер. с англ. Розенблатт Ф. Принципы нейродинамики. М.: Мир, 1965.

38. Rumelhart D. E., Hinton G. E., Williams R. J. Learning internal representations by error propagation. Еd. by D. E. Rumelhart, J. L. McClelland// Parallel Data Processing. 1986. Vol.1. Cambridge, MA: The M.I.T. Press. P. 318-362.

39. Rumelhart D. E., Hinton G. E., Williams R. J. Learning representations by back-propagating errors// Nature. 1986. Vol. 323. P. 533–536.

40. Soloway D., Haley P. J. Neural Generalized Predictive Control// Proceedingsof the 1996IEEE International Symposium on Intelligent Control. 1996. P. 277-281.

41. Scales L. E. Introduction to Non-Linear Optimization. New York: Springer-Verlag, 1985.

42. Vogl T.P., Mangis J.K. et al. Accelerating the convergence of the backpropagation method// Biological Cybernetics. 1988. Vol. 59. P. 256-264.

43. Wasserman P. D. Advanced Methods in Neural Computing. New York: Van Nostrand Reinhold, 1993.

44. Widrow B., Hoff M.E. Adaptive switching circuits// 1960 IREWESCON ConventionRecord. New York IRE. 1960. P. 96-104.

45. Widrow B., Sterns S. D. Adaptive Signal Processing. New York: Prentice-Hall, 1985.

Книги на русском языке:

46. Беркинблит М. Б. Нейронные сети. М.: МИРОС, 1993.

47. Уоссерман Ф. Нейрокомпьютерная техника. М.: Мир, 1992.

48. Мишулина О. А., Лабинская А. А., Щербинина М. В. Лабораторный практикум
по курсу "Введение в теорию нейронных сетей". М.: МИФИ, 2000. 204 с.

49. Омату С., Халид М., Юсоф Р. Нейроуправление и его приложения. М.: ИПРЖРБ, 2000. 272 с.

50. Тихонов А. Н. О решении некорректно поставленных задач и методе регуляри­зации// Доклады АН СССР. Т.151, № 3. 1963.

51. Лазарев Ю. Ф. MatLAB 5.x. Киев: Издат. группа BHV, 2000. 384 с.

52. Гультяев А. К. Визуальное моделирование в среде MATLAB: Учеб. курс. СПб: Питер, 2000. 432 с.

53. Потемкин В. Г. Инструментальные средства MATLAB 5.х. М.: Диалог-МИФИ, 2000. 336 с.

54. Медведев В. С., Потемкин В. Г. Control System Toolbox. MATLAB 5 для студентов. /Под общ. ред. В.Г. Потемкина. М.:Диалог-МИФИ, 1999. 287 с. (Пакеты прикладных программ; Кн. 1).

55. Рудаков П. И., Сафонов И. В. Обработка сигналов и изображений. MATLAB 5.x /Под общ. ред. В.Г. Потемкина. М.:Диалог-МИФИ, 1999. 287 с. (Пакеты прикладных программ; Кн. 2).

56. Лавров К. Н., Цыплякова Т. П. Финансовая аналитика. MATLAB 6 /Под общ.
ред. В. Г. Потемкина. М.: Диалог-МИФИ, 2001. 363 с. (Пакеты прикладных программ; Кн. 3).

57. Галушкин А.И. Теория нейронных сетей. М.: ИПРЖР, 2000. 416 с.

58. Галушкин А.И. Нейрокомпьютеры. М.: ИПРЖР, 2000. 532 с.

Оглавление

ПРЕДИСЛОВИЕ.. 3

Введение.. 5

Часть 1. ППП Neural Network Toolbox.. 9

1. Система MATLAB 6. 9

1.1. Операционная среда MATLAB 6. 9

1.2. GUI-интерфейс для ППП NNT.. 17

1.3. Демонстрационные примеры ППП NNT.. 31

2. МОДЕЛЬ НЕЙРОНА И АРХИТЕКТУРА СЕТИ.. 33

2.1. Модель нейрона.. 33

2.1.1. Простой нейрон. 33

2.1.2. Функция активации. 34

2.1.3. Нейрон с векторным входом.. 35

2.2. Архитектура нейронных сетей.. 36

2.2.1. Однослойные сети. 36

2.2.2. Многослойные сети. 38

2.2.3. Сети с прямой передачей сигнала. 41

2.3. Создание, инициализация и моделирование сети.. 42

3. Обучение нейронных сетей.. 47

3.1. Процедуры адаптации и обучения. 47

3.1.1. Способы адаптации и обучения. 52

3.2. Методы обучения. 61

3.2.1. Обучение однослойной сети. 61

3.2.2. Обучение многослойной сети. 62

3.3. Алгоритмы обучения. 66

3.3.1. Градиентные алгоритмы обучения. 67

3.3.2. Алгоритмы метода сопряженных градиентов. 75

3.3.3. Квазиньютоновы алгоритмы.. 81

3.3.4. Алгоритмы одномерного поиска. 86

3.3.5. Расширение возможностей процедур обучения. 88

4. Персептроны... 102

4.1. Архитектура персептрона.. 103

4.2. Модель персептрона.. 104

4.3. Процедуры настройки параметров. 107

5. Линейные сети.. 115

5.1. Архитектура линейной сети.. 116

5.2. Создание модели линейной сети.. 117

5.3. Обучение линейной сети.. 118

5.4. Применение линейных сетей.. 122

6. Радиальные базисные сети.. 131

6.1. Сети GRNN.. 140

6.2. Сети PNN.. 144

7. Сети кластеризации и классификации данных.. 147

7.1. Самоорганизующиеся нейронные сети.. 147

7.1.1. Слой Кохонена. 148

7.1.2. Карта Кохонена. 155

7.2. LVQ-сети.. 167

8. Рекуррентные сети.. 175

8.1. Сети Элмана.. 175

8.2. Сети Хопфилда.. 181

9. Применение нейронных сетей.. 188

9.1. Аппроксимация и фильтрация сигналов. 188

9.1.1. Предсказание стационарного сигнала. 188

9.1.2. Слежение за нестационарным сигналом.. 192

9.1.3. Моделирование стационарного фильтра. 194

9.1.4. Моделирование нестационарного фильтра. 197

9.2. Распознавание образов. 199

9.3. Нейронные сети и системы управления. 204

9.3.1. Регулятор с предсказанием.. 204

9.3.2. Регулятор NARMA-L2. 204

9.3.3. Регулятор на основе эталонной модели. 204

Часть 2. Операторы, функции и команды... 204

10. Вычислительная модель нейронной сети.. 204

10.1. Описание сети.. 204

10.2. Описание элементов сети.. 204

11. Формирование моделей нейронных сетей.. 204

11.1. Модели сетей.. 204

11.1.1. Однослойные сети. 204

11.1.2. Многослойные сети. 204

11.2. Функции активации.. 204

11.3. Синаптические функции.. 204

11.4. Функции инициализации.. 204

11.5. Функции адаптации и обучения. 204

11.5.1. Функции оценки качества обучения. 204

11.6. Функции настройки параметров. 204

11.6.1. Функции одномерного поиска. 204

11.7. Масштабирование и восстановление данных.. 204

11.8. Вспомогательные функции.. 204

11.9. Моделирование нейронных сетей и система Simulink.. 204

11.9.1. Применение системы Simulink. 204

Индексный указатель.. 204

Предметный указатель.. 204

Литература.. 204

Оглавление.. 204

[1] Сигмоидальной (S-образной) функцией называется непрерывная функция, имеющая две горизонтальные асимптоты и одну точку перегиба.