double arrow

Некоторые аналогии и отношения между биологическими и искусственными нейронными сетями.

Биологические Искусственные
Сома Дендриты Аксон Синапс Много нейронов (109) Узел Вход Выход Вес Немного нейронов (от десятка до сотни тысяч)

Понятия используются для осуществления программной имитации массированных параллельных процессов, которые включают обрабатывающие элементы (также называемые искусственными нейронами), взаимосвязанными в архитектуру нейронной сети. Искусственный нейрон получает входные сигналы, являющиеся аналогами электрохимических импульсов, которые дендриты биологических нейронов получают от других нейронов.

Входные сигналы искусственного нейрона соответствуют сигналам, посылаемым от биологического нейрона через его аксон. Эти искусственные сигналы могут быть изменены таким же образом, как физические изменения происходят в синапсах.

Важно признать, что ИНС были первоначально предложены как способ моделирования деятельности человеческого мозга. Человеческий мозг имеет намного большую сложность, чем модель может выразить. Несмотря на обширные исследования в нейробиологии и физиологии, остаются важные вопросы о том, как работают мозг и разум человека. Это только одна причина, почему нейронные вычислительные модели не очень сходны с реальными биологическими системами. Тем не менее, исследования и разработки в области ИНС производят интересные и полезные системы, которые заимствуют некоторые черты.

Архитектура нейронной сети.

ИНС состоит из искусственных нейронов (или обрабатывающих элементов), организованных различными путями для формирования структуры сети.

На рис.5.9. представлена схема трех взаимосвязанных искусственных нейронов.

Каждый из нейронов получает входные сигналы, обрабатывает их и выдает простой выходной сигнал. Этот процесс показан на рис.5.10. Входным сигналом могут быть необработанные данные или выходные сигналы других нейронов. Выходной сигнал может быть конечным результатом или он может быть входным сигналом другого нейрона.

Рис.5.9. Три взаимосвязанных искусственных нейрона

Рис.5.10. Обработка информации в искусственном нейроне

Каждая ИНС состоит из набора нейронов, которые сгруппированы по слоям. Типичная структура ИНС показана на рис.5.11. Здесь представлены три слоя: входной, промежуточный (называемый скрытым слоем) и выходной. Между входным и выходным слоями может быть размещено несколько скрытых слоев.

Рис.5.11. Нейронная сеть с одним скрытым слоем

Как и биологические нейронные сети, ИНС могут быть организованы несколькими различными способами (топологическими или архитектурными), т.е. нейроны могут быть взаимосвязаны различными способами. Поэтому ИНС проявляются в различных конфигурациях.

При обработке информации, многие обрабатывающие элементы выполняют свои вычисления одновременно. Эта параллельная обработка имеет сходство с тем, как работает мозг, и отличается от последовательной обработки при традиционных вычислениях.

ИНС может рассматриваться как направленный граф со взвешенными связями, в котором искусственные нейроны являются узлами. По архитектуре связей ИНС могут быть сгруппированы в два класса (рис. 5.12): сети прямого распространения, в которых графы не имеют петель, и рекуррентные сети, или сети с обратными связями.


Рис. 5.12 Систематизация архитектур сетей прямого распространения и рекуррентных (с обратной связью).

В наиболее распространенном семействе сетей первого класса, называемых многослойным перцептроном, нейроны расположены слоями и имеют однонаправленные связи между слоями. На рис. 5.12 представлены типовые сети каждого класса. Сети прямого распространения являются статическими в том смысле, что на заданный вход они вырабатывают одну совокупность выходных значений, не зависящих от предыдущего состояния сети. Рекуррентные сети являются динамическими, так как в силу обратных связей в них модифицируются входы нейронов, что приводит к изменению состояния сети.

Обучение

Способность к обучению является фундаментальным свойством мозга. В контексте ИНС процесс обучения может рассматриваться как настройка архитектуры сети и весов связей для эффективного выполнения специальной задачи. Обычно нейронная сеть должна настроить веса связей по имеющейся обучающей выборке. Функционирование сети улучшается по мере итеративной настройки весовых коэффициентов. Свойство сети обучаться на примерах делает их более привлекательными по сравнению с системами, которые следуют определенной системе правил функционирования, сформулированной экспертами.

Для конструирования процесса обучения, прежде всего, необходимо иметь модель внешней среды, в которой функционирует нейронная сеть - знать доступную для сети информацию. Эта модель определяет парадигму обучения. Во-вторых, необходимо понять, как модифицировать весовые параметры сети - какие правила обучения управляют процессом настройки. Алгоритм обучения означает процедуру, в которой используются правила обучения для настройки весов.

Существуют три парадигмы обучения: "с учителем", "без учителя" (самообучение) и смешанная. В первом случае нейронная сеть располагает правильными ответами (выходами сети) на каждый входной пример. Веса настраиваются так, чтобы сеть производила ответы как можно более близкие к известным правильным ответам. Усиленный вариант обучения с учителем предполагает, что известна только критическая оценка правильности выхода нейронной сети, но не сами правильные значения выхода. Обучение без учителя не требует знания правильных ответов на каждый пример обучающей выборки. В этом случае раскрывается внутренняя структура данных или корреляции между образцами в системе данных, что позволяет распределить образцы по категориям. При смешанном обучении часть весов определяется посредством обучения с учителем, в то время как остальная получается с помощью самообучения.

Теория обучения рассматривает три фундаментальных свойства, связанных с обучением по примерам: емкость, сложность образцов и вычислительная сложность. Под емкостью понимается, сколько образцов может запомнить сеть, и какие функции и границы принятия решений могут быть на ней сформированы. Сложность образцов определяет число обучающих примеров, необходимых для достижения способности сети к обобщению. Слишком малое число примеров может вызвать "переобученность" сети, когда она хорошо функционирует на примерах обучающей выборки, но плохо - на тестовых примерах, подчиненных тому же статистическому распределению. Известны 4 основных типа правил обучения: коррекция по ошибке, машина Больцмана, правило Хебба и обучение методом соревнования.

1. Правило коррекции по ошибке. При обучении с учителем для каждого входного примера задан желаемый выход d. Реальный выход сети y может не совпадать с желаемым. Принцип коррекции по ошибке при обучении состоит в использовании сигнала (d-y) для модификации весов, обеспечивающей постепенное уменьшение ошибки. Обучение имеет место только в случае, когда перцептрон ошибается. Известны различные модификации этого алгоритма обучения.

2. Обучение Больцмана. Представляет собой стохастическое правило обучения, которое следует из информационных теоретических и термодинамических принципов. Целью обучения Больцмана является такая настройка весовых коэффициентов, при которой состояния видимых нейронов удовлетворяют желаемому распределению вероятностей. Обучение Больцмана может рассматриваться как специальный случай коррекции по ошибке, в котором под ошибкой понимается расхождение корреляций состояний в двух режимах.

3. Правило Хебба. Самым старым обучающим правилом является постулат обучения Хебба [98]. Хебб опирался на следующие нейрофизиологические наблюдения: если нейроны с обеих сторон синапса активизируются одновременно и регулярно, то сила синаптической связи возрастает. Важной особенностью этого правила является то, что изменение синаптического веса зависит только от активности нейронов, которые связаны данным синапсом. Это существенно упрощает цепи обучения в реализации VLSI.

4. Обучение методом соревнования. В отличие от обучения Хебба, в котором множество выходных нейронов могут возбуждаться одновременно, при соревновательном обучении выходные нейроны соревнуются между собой за активизацию. Это явление известно как правило "победитель берет все". Подобное обучение имеет место в биологических нейронных сетях. Обучение посредством соревнования позволяет кластеризовать входные данные: подобные примеры группируются сетью в соответствии с корреляциями и представляются одним элементом.

При обучении модифицируются только веса "победившего" нейрона. Эффект этого правила достигается за счет такого изменения сохраненного в сети образца (вектора весов связей победившего нейрона), при котором он становится чуть ближе ко входному параметру.


Глава 6. Обработка знаний и вывод решений в интеллектуальных системах.


Понравилась статья? Добавь ее в закладку (CTRL+D) и не забудь поделиться с друзьями: