Функции активации (передаточные функции) нейрона могут иметь самый различный вид. Функция активации f, как правило, принадлежит к классу сигмоидальных[1] функций
с аргументом n и выходом a.
Рассмотрим три наиболее распространенные формы функции активации.
Единичная функция активации с жестким ограничениям hardlim. Эта функция описывается соотношением a = hardlim(n) = 1(n) и показана на рис. 2.2. Она равна 0, если n < 0, и 1, если n ³ 0.
Рис. 2.2.
В состав ППП Neural Network Toolbox входит М-функция hardlim, реализующая функцию активации с жесткими ограничениями. Теперь можно построить график этой функции, применяя операторы языка MATLAB:
n = –5:0.1:5;
plot(n,hardlim(n),'c+:');
В результате получим график функции hardlim в диапазоне значений входа от –5 до + 5 (рис. 2.2).
Линейная функция активации purelin. Эта функция описывается соотношением
a = purelin(n) = n и показана на рис. 2.3.
Рис. 2.3.
Логистическая функция активации logsig.Эта функция описывается соотношением
a = logsig(n) = 1/(1 + exp(– n)) и показана на рис. 2.4. Она принадлежит к классу сигмоидальных функций, и ее аргумент может принимать любое значение в диапазоне от –¥ до +¥, а выход изменяется в диапазоне от 0 до 1. В ППП Neural Network Toolbox она представлена М-функцией logsig. Благодаря свойству дифференцируемости эта функция часто используется в сетях с обучением на основе метода обратного распространения ошибки.
|
|
Рис. 2.4.
Символ в квадрате в правом верхнем углу графика характеризует функцию активации. Это изображение используется на структурных схемах нейронных сетей.
В ППП Neural Network Toolbox включены и другие функции активации. Используя язык MATLAB, пользователь может создавать и свои собственные уникальные функции.