Нейрон,нейронные сети,основные понятия

Нейрон (рис. 1) - это составная часть нейронной сети. Он состоит из элементов трех типов. Элементы нейрона - умножители (синапсы), сумматор и нелинейный преобразователь. Синапсы осуществляют связь между нейронами, умножают входной сигнал на число, характеризующее силу связи, - вес синапса. Сумматор выполняет сложение сигналов, поступающих по синаптическим связям от других нейронов, и внешних входных сигналов. Нелинейный преобразователь реализует нелинейную функцию одного аргумента - выхода сумматора. Эта функция называется "функция активации" или "передаточная функция" нейрона. Нейрон в целом реализует скалярную функцию векторного аргумента.

Нейронной сетью будем называть структуру, состоящую из связанных между собой нейронов.

Нейронные сети могут иметь различные архитектуры. Можно выделить три основных типа нейронных сетей:

• полносвязные сети (рис. 3-а),
• многослойные сети (рис. 3-б),
• слабосвязные сети (нейронные сети с локальными связями) (рис. 3-в).

В слабосвязных сетях нейроны располагаются в узлах прямоу гольной решетки. Каждый нейрон связан с четырьмя или восемью своими ближайшими соседями.

В полносвязной сети каждый нейрон связан со всеми остальными (на входы каждого нейрона подаются выходные сигналы остальных нейронов).

В многослойных сетях нейроны объединяются в слои. Слой - это совокупность нейронов c единым входным сигналом. Внешние входные сигналы подаются на входы нейронов первого слоя, а выходами сети являются выходные сигналы последнего слоя. Кроме входного и выходного слоев в многослойной нейронной сети есть один или несколько промежуточных (скрытых) слоев. Вход нейронной сети можно рассматривать как выход "нулевого слоя" вырожденных нейронов. Связи от выходов нейронов некоторого слоя m к входам нейронов следующего слоя (m+1) называются последовательными.

Если нейроны каждого слоя сети имеют единую функцию актива ции, то такую нейронную сеть будем называть однородной.

Аппаратная реализация нейронной сети может быть выполнена на нейрочипах (микросхемах, содержащих фрагменты нейронных сетей), на СБИС-пластинах или оптоэлектронным способом.

Нейрокомпьютером называют вычислительную систему, архитектура которой ориентирована на выполнение операций, заданных структурой нейронной сети.

В финансовом мире нейронные сети широко применяются для двух основных задач — прогнозирования котировок основных инструментов (курсов валют, ценных бумаг, ГКО и др.) и распознавания определенных ситуаций (например, подо зрительных операций с кредитной картой). В России наиболее известными приложениями нейросетевых информационных технологий можно признать следующие:
прогнозирование котировок фьючерсов;
краткосрочная динамика курсов валют;
прогноз оптовых цен на продукты питания;
оценка кредитных рисков;
оценка объектов недвижимости;
ряд задач медицинской и промышленной диагностики;
построение высокодоходного футбольного тотализатора;
прогноз развития чрезвычайных ситуаций;
авторизация доступа по индивидуальному «почерку» работы за клавиатуре
компьютера.

Модели нейронных сетей

Модель МакКаллока-Питтса Первой формальной моделью нейронных сетей (НС) была модель МакКаллока-Питтса, уточненная и развитая Клини. Впервые было установлено, что НС могут выполнять любые логические операции и вообще любые преобразования, реализуемые дискретными устройствами с конечной памятью. Эта модель легла в основу теории логических сетей и конечных автоматов и активно использовалась психологами и нейрофизиологами при моделировании некоторых локальных процессов нервной деятельности. В силу своей дискретности она вполне согласуется с компьютерной парадигмой и, более того, служит её «нейронным фундаментом».

Устройство модели

Рис.1 модель нейрона МакКалока-Питтса

Пусть имеется входных величин x₁,…,x_n бинарных признаков, описывающих объект . Значения этих признаков будем трактовать как величины импульсов, поступающих на вход нейрона через входных синапсов. Будем считать, что, попадая в нейрон, импульсы складываются с весами ω₁,…,ω_n.

Если вес положительный, то соответствующий синапс возбуждающий, если отрицательный, то тормозящий. Если суммарный импульс превышает заданный порог активации ω₀, то нейрон возбуждается и выдаёт на выходе 1, иначе выдаётся 0.

Таким образом, нейрон вычисляет n-арную булеву функцию

где - ступенчатая функция Хевисайда.

В теории нейронных сетей функцию φ, преобразующую значение суммарного импульса в выходное значение нейрона, принято называть функцией активации. Таким образом, модель МакКаллока-Питтса эквивалентна пороговому линейному классификатору.

Математическая модель нейрона:

(1)

(2)

где

w_i - вес синапса (weight), (i=1,2...N);

b - значение смещения (bias);

s - результат суммирования (sum);

x_i - компонента входного вектора (входной сигнал), (i=1,2,...N);

y - выходной сигнал нейрона;

N - число входов нейрона;

f - нелинейное преобразование (функция активации).

В общем случае входной сигнал, весовые коэффициенты и значения смещения могут принимать действительные значения. Выход (y) определяется видом функции активации и может быть как действительным, так и целым. Во многих практических задачах входы, веса и смещения могут принимать лишь некоторые фиксированные значения.

Синаптические связи с положительными весами называют возбуждающими, с отрицательными весами - тормозящими.

Описанный вычислительный элемент можно считать упрощенной математической моделью биологических нейронов - клеток, из которых состоит нервная система человека и животных.

Чтобы подчеркнуть различие нейронов биологических и математичес ких, вторые иногда называют нейроноподобными элементами или формальными нейронами.

На входной сигнал (s) нелинейный преобразователь отвечает выходным сигналом f (s,p), который представляет из себя выход нейрона (y). Здесь p - параметр или набор параметров, от которых зависит функционирование преобразователя. Пример передаточной функции представлен на рис. 2.