Нейронные сети Кохонена

Нейронные сети Кохонена считаются отдельным классом нейронных сетей, основным элементом которых является слой Кохонена. Слой Кохонена состоит из адаптивных линейных сумматоров («линейных формальных нейронов»). Как правило, выходные сигналы слоя Кохонена обрабатываются по правилу «победитель забирает всё»: наибольший сигнал превращается в единичный, остальные обращаются в ноль.

По способам настройки входных весов сумматоров и по решаемым задачам различают много разновидностей сетей Кохонена. Наиболее известные из них:

· Сети векторного квантования сигналов^[, тесно связанные с простейшим базовым алгоритмом кластерного анализа (метод динамических ядер или K-средних);

· Самоорганизующиеся карты Кохонена (Self-Organising Maps, SOM);

· Сети векторного квантования, обучаемые с учителем (Learning Vector Quantization).

Слой Кохонена состоит из некоторого количества параллельно действующих линейных элементов. Все они имеют одинаковое число входов и получают на свои входы один и тот же вектор входных сигналов . На выходе -го линейного элемента получаем сигнал

где — весовой коэффициент го входа го нейрона, — пороговый коэффициент.

После прохождения слоя линейных элементов сигналы посылаются на обработку по правилу «победитель забирает всё»: среди выходных сигналов ищется максимальный; его номер . Окончательно, на выходе сигнал с номером равен единице, остальные — нулю. Если максимум одновременно достигается для нескольких , то либо принимают все соответствующие сигналы равными единице, либо только первый в списке (по соглашению). «Нейроны Кохонена можно воспринимать как набор электрических лампочек, так что для любого входного вектора загорается одна из них.»

Разработчиками теории искусственных нейронных сетей считаются Маккалон и Питтс.

Основные результаты теории нейронных сетей в начале её становления сводились к следующему:

1. Модель нейрона в виде простейшего процессорного элемента, который вычисляет значение некоторой функции.

2. Конструкция нейронной сети для выполнения логических и арифметических операций.

3. Высказывалось предположение, что нейронная сеть способна обучаться, распознавать образы и обобщать полученную информацию.

Фрэнк Разенблатт (1958 г.) ввел понятие перцептрона – модели основного элемента нейронных сетей. Указанный исследователь ввёл возможность модификации межнейронных связей, что сделало нейронную сеть обучаемой. Первые перцептроны могли распознавать буквы алфавита.

Алгоритм обучения перцептрона включает следующие операции:

1) Системе предъявляется эталонный образ;

2) Если результат распознавания совпадает с заданным, то весовые коэффициенты не изменяются;

3) Если нейронная сеть неправильно распознает результат, то весовым коэффициентам дается приращение в сторону повышения качества распознавания.

Однако перцептрон имеет ограниченные возможности, поскольку не всегда существует такая комбинация весовых коэффициентов, при которой заданное множество образов будет распознаваться правильно.

Причина в том, что однослойный перцептрон реализует линейную разделенную поверхность пространства эталона, вследствие чего происходит неверное распознавание, если модель не является сепарабельной.

Сепарабельность – свойство такого пространства, для бесконечного множества элементов которого может быть задан счетный скелет, центр которого обладает центром тяжести и вокруг которого группируются отдельные классы близких по параметрам элементов.

Пространство является нормированным и для него могут быть определены основные свойства нормированного пространства:

- метрика;

- сепарабельность;

- связность;

- конформность.

В метрическом пространстве каждой модели с уникальным набором координат соответствует свой уникальный вектор и единственная точка.

Малое изменение отдельных координат модели приводит к малым изменениям модели и к малым перемещениям точки.

Сепарабельность приводит к тому, что всё множество элементов пространства может быть разделено на отдельные подмножества моделей, похожих по определенным признакам.

Конформность означает, что объем, заданный некоторым множеством моделей в пространстве, может произвольным образом без разрывов деформироваться в целом или своими локальными частями.

Связность предполагает, что множество моделей пространства представляет собой единую унитарную структуру в случае односвязности либо в случае многосвязности, распадается по каким-то признакам на отдельные подмножества.

Для решения проблем предложены модели многослойных перцептронов (рис. 9), которые способны строить ломаную линию.