Архитектура нейронных сетей

Нейрон - это составная часть нейронной сети. Искусственная нейронная сеть строится из нейронов, которые связанны друг с другом. Нейронные сети могут быть реализованы в виде быстрых аппаратных устройств, и такие реализации существуют. Однако, большинство исследований выполняется с использованием программного моделирования на компьютерах. Как правило, активационные функции всех нейронов в сети являются фиксированными, а веса - параметрами сети и могут изменяться. Работа нейронной сети состоит в преобразовании входного вектора , задаваемого весами сети и выходными в вектор .

Чтобы построить нейронную сеть нужно выполнить следующие этапы:

1. Выбрать архитектуру(структуру, тип) сети.

2.Осуществить подбор весов сети(обучение сети). Задача построения нейронной сети является не тривиальной.

На этапе выбора архитектуры нейронной сети нужно решить следующие вопросы:

1. Какие нейроны будем использовать (число входов, функции активации).

2.Как следует соединить нейроны между собой.

3.Какие входы нейронов взять в качестве внешних входов сети, и какие выходы в качестве внешних выходов.

При этом не обязательно строить сеть «с нуля», существует множество нейро-сетевых архитектур, причем эффективность доказана математически. Наиболее изученные и популярные архитектуры, это многослойный пейсерптрон, нейронная сеть с общей регрессией, сети Кохонина.

В зависимости от того, какие функции выполняют нейроны в сети, выделяются 3 типа:

1) Входные нейроны - это нейроны, на которые подается входной вектор, кодирующий входное воздействие или образ внешней среды, в них обычно не производится вычислительных процедур. Иногда информация передается с входа на выход путем изменения его активации.

2) Выходные нейроны – это нейроны, выходные значения которых, представляют выход сети.

3)Промежуточные нейроны – это нейроны, которые составляют основу искусственных сетей.

Во многих моделях нейронных сетей, тип нейрона зависит от его расположения в сети. Если у нейрона имеются только выходные связи, то это входной нейрон, если наоборот выходной нейрон.

В процессе функционирования сети, когда входной вектор преобразуется в выходной, происходит некоторая переработка информации. Конкретный вид этой информации зависит не только от функций активации, но и от особенностей ее архитектурны. Существуют бинарные и аналоговые нейронные сети.

Бинарные сети оперируют с двоичными сигналами, при этом выход каждого нейрона принимает только 2 значения, логический 0 соответствующий заторможенному состоянию и логическая 1, соответствующая возбужденному состоянию. Нейронные сети бывают:

1. Статические, часто называемые сетями с прямой связью или (сетями прямого распространения).

2. Динамические или рекуррентные. Существуют три фундаментальных класса нейро-сетевых архитектур:

А) Однослойные сети прямого распространения.

Б) Многослойные сети прямого распространения.

В) Рекуррентные сети.