Особенности обучающихся нейронных сетей

Классификация архитектур НС

План

Основные понятия

Архитектура нейронных сетей

Пример расчета инвертирующего усилителя

Требуется усилить напряжение = 2 В до величины = - 10 В. По определению Согласно формуле Задаемся стандартным значением R₁= 2 кОм, тогда R₂ = = 5∙2 = 10 кОм — тоже стандартное значение.

Отметим очень важную особенность инвертирующего усилителя. Так как на входе Это значит, что инвертирующий усилитель является преобразователем тока в пропорциональное напряжение

.

1. Классификация архитектур НС.

2. Особенности обучающихся нейронных сетей

3. Классификация принципов обучения нейронных сетей

4. Схемы обучения нейронных сетей

4.1. Схема обучения нейронной сети без учителя

4.2. Схема обучения нейронной сети с учителем

Рассмотрим классификацию искусственных нейронных сетей по различным признакам.

1. Вид сигналов в нейронной сети. По используемым сигналам на входах и выходах НС разделяют на аналоговые и бинарные.

2. Характер активационных функций. Если активационная функция одна для всех нейронов сети, то сеть называют однородной. Если же активационная функция зависит еще от некоторых параметров, значения которых меняются от нейрона к нейрону, то сеть называют неоднородной (гетерогенной).

3. Тип активационной функции. По типу активационной функции, используемой на различных слоях НС, различают линейные и нелинейные сети.

Теорема. Любая многослойная линейная сеть может быть заменена эквивалентной однослойной сетью (рис. 3.2).

4. Модельное время НС. По модельному времени (моделированию времени) нейронные сети подразделяются на сети с непрерывным и дискретным временем.

5. Способ синхронизации. Как и в любой ВС в нейронных сетях различают два способа синхронизации: – синхронный и асинхронный. При программной реализации на цифровых ЭВМ нейронных сетей вопрос синхронизации не актуален. Для других способов реализации он весьма важен.

6. Топология. Под топологией нейронной сети будем понимать графическую иллюстрацию соединения нейронов между собой в этой сети.

Нейросеть, также как и биологический аналог, должна иметь каналы для связи с внешним миром. Одни каналы обеспечивают поступление информации из внешнего мира на НС, другие выводят информацию из нейросети во внешний мир. Поэтому одни элементы нейронной сети рассматривается как входные, другие же - как выходные. Часть нейронов может не сообщаться с внешним миром, а взаимодействовать с входными, выходными и такими же нейронами ("скрытые" нейроны).

Очевидно, что существует огромное количество способов соединения нейронов, растущее с увеличением числа нейронов в сети.

По этому признаку выделяют две базовые архитектуры НС – однослойные и многослойные сети.

Однослойные нейронные сети

В однослойных сетях нейроны соединяются либо по принципу каждый с каждым - полносвязанные сети, либо регулярно - регулярные сети.

В полносвязных сетях каждый нейрон передает свой выходной сигнал остальным нейронам (рис. 3.3). Все входные сигналы подаются всем нейронам. Выходными сигналами сети могут быть все или некоторые выходные сигналы нейронов после нескольких тактов функционирования сети.

Если полносвязная сеть функционирует до получения ответа заданное число тактов k, то ее можно представить как частный случай k-слойной сети, все слои которой одинаковы, и каждый из них соответствует такту функционирования полносвязной сети.

Существенное различие между полносвязной и слоистой сетями становится очевидным, когда число тактов функционирования заранее не ограничено – слоистые сети так работать не могут.

В регулярных сетях для каждого нейрона характерна строгая определенность числа связей (рис.3.4). Число связей нейрона зависит от места его расположения в сети. Особенностью сетей с регулярной топологией является один вид функции активации для всех нейронов этой сети.

Регулярная топология нейронной сети, приведенная на рис. 3.4, не является единственной. Возможно другое число связей у угловых, граничных и внутренних нейронов, На рис. 3.5 приведен пример регулярной гексагональной топологии.

Многослойные нейронные сети

В многослойных сетях нейроны группируют по слоям. Внешние слои многослойной сети называют входным и выходным слоями. Внутренние слои называют скрытыми. Число скрытых слоев неограниченно. Слоистые сети описываются неполносвязным ориентированным графом (и часто называются персептронами).

Обычно вектор входных сигналов подается на все нейроны первого слоя сети. Вектор выходных сигналов образуется выходами всех нейронов последнего слоя. Структура внутренних (скрытых) слоев может быть организована по-разному. Число нейронов в каждом слое может быть любым и никак заранее не связано с количеством нейронов в других слоях.

Среди многослойных сетей выделяют:

сети с прямыми связями;

сети с перекрестными связями;

сети с обратными связями;

сети с латеральными связями.

Нейронная сеть с прямыми связями

Все нейроны входного слоя активизируются вектором входного сигнала, а все нейроны выходного слоя определяют выходной вектор.

На рис. 3.6 и 3.7 представлены сетей с прямыми связями с одним и двумя слоями и точками ветвления на входе.

Если в НС все узлы каждого слоя соединены со всеми узлами смеждых слоев, то такая сеть называется полносвязной сетью прямого распространения. Если некоторые из синаптических связей отсутствуют, то сеть называется неполносвязной. На рис. 3.8 показана двухслойная полносвязная сеть с прямыми связями. Она называется сетью 10-4-2, т.к. имеет 10 точек ветвления, 4 скрытых и 2 выходных нейрона.

Нейронная сеть с перекрестными связями

Вариант двухслойной сети с перекрест­ными связями приведен на рис. 3.9. Здесь нейроны вто­рого слоя имеют синаптические связи как с выходов нейронов первого слоя, так и непосредственно с входа НС. В общем случае в многослойных сетях произвольной структуры возможны различные конфигурации перекрестных связей.

Нейронная сеть с обратными связями

Обратной связью можно охватывать как отдельный слой, так и несколько слоев и даже всю сеть. На рис. 3.10 приведена четырехслойная сеть с различными обратными связями.

Нейронная сеть с латеральными связям

В нейронных сетях с латеральными связями используются боковые связи. Такие связи обычно используются для сетей распознавания графических объектов.

Латеральные связи бывают тормозящими и возбуждающими. На рис. 3.11 приведен пример контрастирования сигналов соседних нейронов в отдельном слое.

7. Мерность связей. С точки зрения представления слоёв и связей сети различают одномерные и многомерные (двумерные) НС.

В двумерных сетях каждый нейрон своими синаптическими связями проецируется на небольшую область следующего слоя (рис. 3.12). В данном случае слои представляют не одномерными, а плоскими, т.е. двухмерными. При подобном уменьшении числа межнейронных связей можно значительно сократить объем вычислений при программном моделировании сети и объем аппаратуры при аппаратной реализации.

8. Направление связей между нейронами. По данному признаку нейронные сети сгруппированы в два больших класса: сети прямого распространения (ациклические), в которых графы не имеют петель, и рекурсивные сети, или сети с обратными связями (рис. 3.13).

На рис. 3.13 представлены типовые сети каждого класса. Сети прямого распространения являются статическими, т.е. на заданный входной вектор они вырабатывают одну совокупность выходных значений, не зависящих от предыдущего состояния сети. Рекурсивные сети являются динамическими, так как в силу обратных связей в них модифицируются входы нейронов, что приводит к изменению состояния сети.

9. Способ решения задачи. С точки зрения этого критерия классификации Нс делят на формируемые, сети с формируемой матрицей связи, обучаемые и комбинированные (смешанные).

Формируемые сети

Сети этого вида проектируют для формализуемых задач, имеющих четко сформулированный в нейросетевом базисе алгоритм решения конкретной задачи.

Сети с формируемой матрицей связей

Сети этого вида применяют для трудноформализуемых задач.

Обучаемые сети

Этот вид сетей используют для решения неформализуемых задач.

Комбинированные сети

Этот класс сетей сочетает в себе признаки двух, а то и трех основных видов.

В основе современной теории нейронных сетей лежат множества представлений о работе нервной системы. Основным из них является следующее:

правила модификации локальны, т.е. изменение состояния каждого пластического элемента обусловлено только его текущим состоянием и активностью сети в точке ее локализации, а также, возможно, от некоторого диффузионного управляющего сигнала, одинакового для всех пластических элементов.

Дадим краткое описание структурных и функциональных особенностей обучающихся НС, при построении которых реализованы эти принципы.

Пластичность НС

В теории НС предполагается, что поведение системы является результатом взаимодействия многих элементов. Каждый из которых ограничивает действие других и сам ограничивается другими на пути системы к формированию оптимального состояния (наблюдаемого поведения). Знание, определяющее это поведение, распределено в состояниях модификации пластических элементов.

Будем рассматривать вариант НС с синаптической пластичностью (СП). Выделяют три вида СП:

1) появление новых связей;

2) исчезновение существующих связей;

3) модификация.

Активность НС

Единственным выходным сигналом нейрона в процессе обучения является импульсивная активность клетки. Активность определяет синаптическое возбуждение или торможение других нейронов связанных с данным нейроном. Активность всей нейронной системы описывается вектором , где n – общее число нейронов (рис. 3.14).

Степень взаимодействия элементов определяется матрицей весов их синаптических связей W, компоненты которой w_ij задают величину и знак связи от j -го элемента к i -му (рис. 3.15). Если j -ый элемент не связан i -ым, то w_ij=0.

Синаптическое возбуждение в i -ом нейроне в момент времени t создается активностью нейронов сети и внешних источников информации

. (3.1)

В дискретном времени активность i -го нейрона a_i в момент времени t+1 задается некоторой неубывающей функцией от синаптического возбуждения – функцией реактивности

. (3.2)

В непрерывном времени связь между активностью нейрона и его синаптическим возбуждением задается некоторым процессом

(3.3)

Режимы работы НС

В зависимости от используемого принципа управления, для сетей функционирующих в дискретном времени различают два режима работы:

- синхронный;

- асинхронный.

В синхронном режиме вычисляется синаптическое возбуждение (4.1) и активность нейронов (4.2) на каждом такте времени для всех нейронов сети.

В асинхронном режиме вычисляется синаптическое возбуждения и активность на каждом такте только одного нейрона, выбранного случайно или в соответствии с заданной последовательностью.

Для сетей с симметричными связями (w_ij=w_ji) и при отсутствии связей нейронов самих на себя (w_ii=0) допустима простая физическая аналогия:

активности каждого элемента ставится в соответствие ориентация одного атома кристалла, а силе синаптической связи между элементами – коэффициент, определяющий вклад одного атома в силовое поле около другого атома.

Тогда по аналогии с энергией кристалла можно ввести понятие энергии нейронной сети:

. (3.4)

Второе слагаемое соответствует вкладу в энергию кристалла внешнего силового поля, которое имитируется в НС внешним синаптическим возбуждением и смещением.

Для сети, работающей в асинхронном режиме, вычисляется изменение энергии сети при изменении активности i-го нейрона:

. (3.5)

Существует проблема попадания сети в локальные минимумы. В локальных минимумах активность сети может стабилизироваться до того, как она достигнет глобального экстремума. На рис. 4.4. это продемонстрировано для сети с одним весом.

Допустим, что первоначально вес взят равным значению в точке А. Если случайные шаги по изменению веса малы, то любые отклонения от точки А увеличивают целевую функцию и будут отвергнуты. Лучшее значение веса, принимаемое в точке В, никогда не будет найдено, и система будет поймана в ловушку локальным минимумом, вместо глобального минимума в точке В. Если же случайные коррекции веса очень велики, то целевая функция будет принимать значения на всем отрезке значений веса. Вес будет меняться так резко, что он никогда не установится в желаемом минимуме.

Необходимо изменять величину шага (колебания поверхности) в течение всего алгоритма нахождения минимума в зависимости от точки поверхности. Т.е. при уменьшении величины шага вблизи точки В сила колебаний должна быть достаточной, чтобы вывести шарик из точки А, но уже не достаточной, чтобы вывести его из точки В.