Функции активации

Функция активации, или передаточная функция нейрона, преобразует каждый элемент n_i вектора входа нейрона в элемент a_i вектора выхода:

.

Если рассматривать слой нейронов, то выражение функции активации через параметры слоя может быть записано в следующей векторной форме:

,

где a ^m – вектор выхода нейронов размера S ^m´1 для слоя m; W ^m – матрица весовых коэффициентов размера S ^m´ S ^{m –1} для слоя m; b ^m – вектор смещений размера S ^m´1 для слоя m; f ^m – функция активации нейронов слоя m; n ^m – вектор входа нейронов для слоя m; S^m – число нейронов слоя m; a ⁰ = p – вектор входа сети размера S ⁰ ´1, причем S ⁰ = R и R – число элементов вектора входа сети.

Все М-функции ППП NNToolbox, описывающие функции активации, имеют одинаковый формат

A = <имя_функции>(N),

где A – матрица векторов выхода; N – матрица векторов входа.

Производные функций активации имеют следующий формат

dA_dN = d<имя_функции>(N,A).

Кроме того, для функций активации определена информационная функция вида

info = <имя_функции>(code),

где аргумент code может принимать следующие значения:

'name' – полное название функции активации;

'deriv' – имя производной функции активации;

'active' – активный диапазон входа функции активации;

'output' – диапазон выхода функции активации.