Обучение НС

Выбор структуры НС

Выбор структуры НС осуществляется в соответствии с особенностями и сложностью задачи. Для решения некоторых отдельных типов задач уже существуют оптимальные, на сегодняшний день, конфигурации.

Если же задача не может быть сведена ни к одному из известных типов, разработчику приходится решать сложную проблему синтеза новой конфигурации.

При этом он руководствуется несколькими основополагающими принципами:

- возможности сети возрастают с увеличением числа ячеек сети, плотности связей между ними и числом выделенных;

- введение обратных связей наряду с увеличением возможностей сети поднимает вопрос о динамической устойчивости сети;

- сложность алгоритмов функционирования сети (в том числе, например, введение нескольких типов синапсов – возбуждающих, тромозящих и др.) также способствует усилению мощи НС.

Вопрос о необходимых и достаточных свойствах сети для решения того или иного рода задач представляет собой целое направление нейрокомпьютерной науки. Так как проблема синтеза НС сильно зависит от решаемой задачи, дать общие подробные рекомендации затруднительно. В большинстве случаев оптимальный вариант получается на основе интуитивного подбора.

Процесс функционирования НС, то есть сущность действий, которые она способна выполнять, зависит от величин синаптических связей, поэтому, задавшись определенной структурой НС, отвечающей какой-либо задаче, разработчик сети должен найти оптимальные значения всех переменных весовых коэффициентов (некоторые синаптические связи могут быть постоянными). Этот этап называется обучением НС, и от того, насколько качественно он будет выполнен, зависит способность сети решать поставленные перед ней проблемы во время эксплуатации. После завершения обучения нейронная сеть готова к использованию. Это - рабочая фаза.

На этапе обучения кроме параметра качества подбора весов важную роль играет время обучения. Как правило, эти два параметра связаны обратной зависимостью и их приходится выбирать на основе компромисса.

Как же обучается нейронная сеть? Как правило, это демонстрируется на примере известных собак Павлова.

Когда он показывал собакам еду, у них выделялась слюна. В собачьих клетках устанавливались звоночки. Когда звонил звоночек, у собак не выделялась слюна, т. е. они не видели связи между звонком и едой. Тогда Павлов стал обучать собак иначе, каждый раз используя звоночек при предъявлении пищи. После этого, даже при отсутствии еды, наличие звоночка вызывало у собак слюну.

На рис. показано, как простая модель нейрона может быть представлена на примере собаки Павлова.

Имеется два входных нейрона: один из них соответствует тому, что собака видит пищу, другой - наличию звонка. Оба входных нейрона имеют связи с выходным нейроном. Эти связи соответствуют синапсам, а толщина линий - весам синапсов. Перед обучением собака реагирует лишь на еду, но не на звонок. Следовательно, линия между левым входным и выходным нейронами является жирной, в то время как линия между правым входным и выходным нейронами является очень тонкой.

Совершенно очевидно, что звонок при предъявлении пищи вырабатывает ассоциацию между ним и едой. Следовательно, правая линия также становится толще, поскольку увеличивается вес синапса. На основании этих наблюдений Хебб в 1949 году предложил следующее обучающее правило:

- Увеличивать вес активного входа нейрона, если выход этого нейрона должен быть активным.

- Уменьшить вес активного входа нейрона, если выход этого нейрона не должен быть активным.

Это правило, названное правилом Хебба, предшествует всем обучающим правилам.