Нейронные сети

Основной моделируемой структурной единицей является искусственный нейрон. Этот математический нейрон вычисляет взвешенную сумму входных сигналов и формирует на выходе сигнал величины 1, если эта сумма превышает определенный порог и 0 – в противном случае. Нейрон, задается совокупностью своих входов, обозначенных , весами входов , функцией состояния NET и функцией активации F. Функция состояния определяет состояние нейрона в зависимости от значений его входов, весов входов и, возможно, предыдущих состояний. Наиболее часто используются функции состояния, вычисляемые как сумма произведений значений входов на веса соответствующих входов по всем входам . Суммирующий блок складывает взвешенные входы алгебраически, создавая выход NET. Сигнал NET преобразуется функцией активации F и дает выходной сигнал нейрона .

Рис. 5. Искусственный нейрон с активационной функцией F

Правило вычисления сигнала активности

Для всех элементов имеется правило вычисления выходного значения, которое предполагается передать другим элементам или во внешнюю среду. Это правило называют правилом активности, а соответствующее выходное значение называют активностью соответствующего элемента. Активность может представляться либо некоторым действительным значением произвольного вида, либо действительным значением из некоторого ограниченного интервала значений (например, из интервала [0,1]), или же некоторым значением из определенного дискретного набора значений (например, или ). На вход функции активности поступает значение комбинированного ввода данного элемента.

Функций активности

– Тождественная функция.

Функция активности для входных элементов может быть тождественной функцией, это означает, что значение (сигнал, посылаемый другим элементам) оказывается в точности равным комбинированному вводу. Входные элементы обычно предназначены для распределения вводимых сигналов между другими элементами сети, поэтому для входных элементов обычно требуется, чтобы исходящий от элемента сигнал был таким же, как и входной.

Рис. 6.Тождественная функция

Пороговая функция

В большинстве моделей НС используются нелинейные функции активности. Пороговая функция ограничивает активность значениями 1 или 0 в зависимости от значения комбинированного ввода в сравнении с некоторой пороговой величиной .

Рис. 7.Пороговая функция

Сигмоидальная функция

Наиболее часто используемой функцией активности является сигмоидальная функция. Выходные значения такой функции непрерывно заполняют диапазон от 0 до 1, примером может служить логистическая функция.

Наклон и область выходных значений логистической функции могут быть разными. Например, для биполярного сигмоида областью выходных значений является диапазон -1 и 1.

Рис. 8.Сигмоидальная функция

Выбор функции активации определяется:

1. Спецификой задачи.

2. Удобством реализации на ЭВМ, в виде электрической схемы или другим способом.

3. Алгоритмом обучения: некоторые алгоритмы накладывают ограничения на вид функции активации, их нужно учитывать.

Модели нейронных сетей.

Нейронная сеть представляет собой совокупность искусственных нейронов, организованных слоями. Многослойные сети отличаются от однослойных тем, что между входными и выходными данными располагаются несколько скрытых слоев нейронов, добавляющих больше нелинейных связей в модель. Простейшая сеть состоит из группы нейронов, образующих один слой. На рисунке вершины - круги слева служат лишь для распределения входных сигналов. Они не выполняют каких - либо вычислений, и поэтому не будут считаться слоем. По этой причине они обозначены кругами, чтобы отличать их от вычисляющих нейронов, обозначенных квадратами. Каждый элемент из множества входов Х отдельным весом соединен с каждым искусственным нейроном, и каждый нейрон выдает взвешенную сумму входов в сеть.

Многослойные сети обладают большими вычислительными возможностями, чем однослойные. Многослойные сети могут образовываться каскадами слоев: выход одного слоя является входом для последующего слоя.

Рис. 9.Однослойная нейронная сеть

Рис. 10. Двухслойная нейронная сеть.

По архитектуре связей нейронные сети могут быть сгруппированы в два класса: сети прямого распространения, в которых обратные связи отсутствуют (нет соединений, идущих от выходов некоторого слоя к входам этого же слоя или предшествующих слоев) и сети рекуррентного типа, в которых возможны обратные связи. В сетях прямого распространения нет памяти, их выход полностью определяется текущими входами и значениями весов.

Сети прямого распространения подразделяются на однослойные перцепротроны, многослойные перцептроны и Сеть радиальных базисных функций.

Класс рекуррентных нейронных сетей гораздо обширнее и сложнее по своему устройству. Поведение рекуррентных сетей описывается дифференциальными или разностными уравнениями, как правило, первого порядка. Сеть организована так, что каждый нейрон получает входную информацию от других нейронов и от окружающей среды. Этот тип сетей имеет важное значение для моделирования нелинейных динамических систем.