Подходы к аппаратной реализации нейросетей

Аппаратные средства, интерпретирующие алгоритмы, заданные нейронной сетью

Алгоритмы обучения многоуровневых персептронных сетей

Большинство алгоритмов обучения использует эвристические приемы формирования графов сетей и весов ребер. При использовании многоуровневых персептронных сетей обучение начинается с выбора начальной сети (эвристически выбираемый граф) с заданным в постановке задачи числом входов и выходов, связывающей входы с выходами. Например, реко­мендуется взять трехслойную сеть с числом нейронов внутреннего слоя, равным полусумме числа входов и выходов сети. Каждый нейрон внутрен­него слоя должен быть связан с выходами всех входных нейронов сети. Ка­ждый выходной нейрон должен быть связан с выходами всех нейронов внутреннего слоя.

Далее предпринимается попытка подобрать веса входов нейронов сети так, чтобы сеть решала поставленную задачу. Если это не удается для выбран­ного графа сети, то по некоторой эвристике, например, с использованием генетических алгоритмов перебираются графы сетей, для каждой из которых предпринимается попытка обучения. Этот процесс продолжается до получения устраивающего результата.

Практически важным алгоритмом определения весов сети при наблюдаемом обучении персептронных сетей, для которого доказана сходимость процесса, является алгоритм обратного распространения. При обучении сиг­нал ошибки распространяется обратно по сети. Производится коррекция ве­сов входов нейронов, предотвращающая повторное появление этой ошибки.

Построение вычислительных систем, интерпретирующих нейросетевые ал­горитмы, осуществляется сейчас на традиционной элементной базе. Однако весьма многообещающей выглядит потенциальная возможность реализации базисной операции (вычисления скалярного произведения) в физической среде-носителе сигнала. Прежде всего, это касается операции суммирования в электромагнитном поле, хотя в живых организмах существуют и иные примеры, в частности, суммирование на биохимическом уровне. Реализация скалярного произведения за счет суммирования электромагнитного поля (включая оптический диапазон) может привести к тому, что время срабаты­вания элемента, вычисляющего скалярное произведение, будет исключи­тельно малым, сравнимым со временем прохождения светом линейного размера элемента.

Алгоритм, заданный нейронной сетью, может быть интерпретирован обыч­ной универсальной вычислительной машиной, либо некоторым специали­зированным устройством.

Сравнение аппаратных средств, интерпретирующих нейросетевые алгорит­мы, затруднено в связи с большим разнообразием параметров. В их число входят: число интерпретируемых нейронов и связей, точность представления значений входов/выходов и весов входов, точность схем умножения и сло­жения (особенно при аналоговой реализации). Например, если используются 8-разрядные входы и веса и 16-разрядный сумматор, то возникают пробле­мы точности результатов при интерпретации сетей, имеющих многовходо-вые нейроны.

Принятой в нейрокомпьютерном мире единицей измерения производитель­ности является число соединений в секунду (CPS — Connections Per Second). Под соединением понимается умножение входа на вес и сложение с накопленной суммой.

Другим показателем, оценивающим скорость обучения, служит число изме­ненных значений весов в секунду (CUPS — Connections Update Per Second).

Эти показатели достаточно условны, т. к. не учитывают разрядности обрабатываемых входов и весов, точность промежуточных результатов и другие особенности. При оценке в этих единицах традиционных вычислительных устройств не­обходимо учитывать, кроме собственно вычислительных операций, операции по выборке из памяти операндов и организации вычислений.