Нейрон с векторным входом

Нейрон с одним вектором входа p с R элементами p ₁, p₂, …, p_R показан на рис. 2.5. Здесь каждый элемент входа умножается на веса w ₁₁, w ₁₂, …, w _{1 R} соответственно и взвешенные значения передаются на сумматор. Их сумма равна скалярному произведению вектора – строки W на вектор входа p.

Рис. 2.5

Нейрон имеет смещение b, которое суммируется со взвешенной суммой входов.
Результирующая сумма n равна

n = w ₁₁ p _{1 +} w ₁₂ p ₂+ … + w _1R p _R + b (2.3)

и служит аргументом функции активации f. В нотации языка MATLAB это выражение записывается так:

n = W*p + b. (2.4)

Структура нейрона, показанная выше, содержит много лишних деталей. При рассмотрении сетей, состоящих из большого числа нейронов, будет использоваться укрупненная структурная схема нейрона (рис. 2.6).

Рис. 2.6

Вход нейрона изображается в виде темной вертикальной черты, под которой указывается количество элементов входа R. Размер вектора входа p указывается ниже символа p
и равен R ´1. Вектор входа умножается на вектор-строку W длины R. Как и прежде,
константа 1 рассматривается как вход, который умножается на скалярное смещение b. Входом n функции активации нейрона служит сумма смещения b и произведения W*p. Эта сумма преобразуется функцией активации f, на выходе которой получаем выход нейрона a, который в данном случае является скалярной величиной. Структурная схема, приведенная на рис. 2.6, называется слоем сети. Слой характеризуется матрицей весов W, смещением b, операциями умножения W*p, суммирования и функцией активации f.
Вектор входов p обычно не включается в характеристики слоя.

Каждый раз, когда используется сокращенное обозначение сети, размерность матриц указывается под именами векторно-матричных переменных. Эта система обозначений поясняет строение сети и связанную с ней матричную математику.

На укрупненной структурной схеме для обозначения типа функции активации применяются специальные графические символы; некоторые из них приведены на рис. 2.7, где. а – ступенчатая, б – линейная, в – логистическая функция.