Основы организации нейросетевых вычислений

Общая идея применения нейронных сетей для решения плохо формализо­ванных задач основана не на выполнении предписанного алгоритма, а на запоминании сетью предъявленных ей примеров на этапе создания сети и выработке результатов, согласованных с запомненными примерами, на эта­пе решения нейросетью задачи.

Практическая реализация этих положений подразумевает, во-первых, мини­мизацию объема памяти, требуемой для запоминания примеров, и, во-вторых, быстрое использование запомненных примеров, исключающее при­менение традиционных типов памяти.

В нейронных сетях принято следующее представление решаемых задач. Ис­ходя из постановки задачи, выявляется набор n входных параметров, от ко­торых, по мнению исследователя, зависит ее решение. Этот набор в даль­нейшем может многократно уточняться в ходе экспериментов по обучению нейросети. Каждому входному параметру х_i, i=1,...,n, задачи сопоставля­ется измерение i многомерного пространства, размерность которого равна числу n параметров. Для каждого параметра используется некоторая шкала, задающая возможные значения этого параметра. Тем самым постановка за­дач сводится к определению свойств точек х_j = { x_j1, x_j2, …. x_jn } n-мерного пространства, где x_ji, — значение входного параметра i точки j при известных свойствах точек, принадлежащих примерам, использованным при обучении.

Итак, пусть имеется обучающий набор примеров:

<X_1, D₁> = <(х₁₁,..., х_1n), D₁ >;

<X_2, D₂> = <(х₂₁,..., х_2n), D₂ >;

<X_m, D_m> = <(х_m1,..., х_mn), D_m >;

X_j = (х_j1 ,..., х_jn) — входные значения j -го примера, D_j — требуемое выходное значение при подаче на входы j -го примера, j = 1,..., т. Считается, что сеть правильно обучена, если выполняется критерий окончания обучения. В качестве этого критерия обычно используют следующие, хотя могут быть и другие:

─ для всех j: max | D _j Y _j |< δ, где δ — заданная величина ошибки; Y _j — выход­ное значение, выдаваемое сетью при подаче на ее входы j -го примера, j = 1,..., m.

─ .

В задачах, эффективно решаемых нейросетями, точки многомерного про­странства, в котором сформулирована задача, образуют области точек, обла­дающих одним и тем же свойством, например, принадлежащих одному классу объектов, имеющих одинаковое значение заданной на них некоторой функции и т. д. Нейронные сети запоминают подобные области, а не от­дельные точки, представляющие предъявленные при обучении примеры.

Используются различные способы реализации запоминания областей. Наи­более употребляемые в настоящее время способы — это выделение областей гиперплоскостями и покрытие областей гипершарами. На рисунке показано выделение областей в двумерном пространстве.

Для запоминания одной гиперплоскости из ограничивающих область доста­точно сохранения n + 1 значения, где n — размерность пространства. Соот­ветственно для запоминания одного гипершара также требуется n + 1 значе­ние: координаты центра и радиус. В нейронных сетях для запоминания каждой гиперплоскости или гипершара используется отдельный элементарный вычислитель, называемый нейроном, а для запоминания всех гиперплоскостей или гипершаров используется объединение составляющих нейронов в параллельную структуру — нейросеть. Именно параллельная согласованная работа всех нейронов обеспечивает бы­строе решение задачи о принадлежности точки n-мерного пространства вы­деляемой при создании сети области.