Вероятностная нейронная сеть

Вероятностная сеть учится оценивать функцию плотности вероятности, ее выход рассматривается как ожидаемое значение модели в данной точке пространства входов. Это значения связано с плотностью вероятности общего распределения входных и выходных данных.

Вероятностные нейронные сети (PNN-сети) - нейронные сети, в которых плотность вероятности принадлежности классам оценивается посредством ядерной аппроксимации. Вероятностные нейронные сети имеют слоистую структуру. В простейшем случае есть три слоя - входной, радиальный и выходной. Каждому обучающему примеру соответствует один элемент радиального слоя. Каждому классу соответствует один выходной элемент, который соединен только с радиальными элементами, относящимися к его классу. Выходной элемент суммирует сигналы всех радиальных элементов, принадлежащих к его классу. Нормированные значения выходных сигналов позволяют оценить вероятности принадлежности классам.

Вероятностная сеть имеет три слоя: входной, радиальный и выходной. Радиальные элементы берутся по одному на каждый пример. Каждый из них имеет гауссовскую функцию с центром в этом примере. Каждому классу отвечает один выходной элемент. Выходной элемент соединен лишь с радиальными элементами, относящихся к его классу и подытоживает выходы всех элементов, принадлежащих к его классу. Значения выходных сигналов получаются пропорционально ядерным оценкам вероятности принадлежности соответствующим классам.

В сети PNN образцы классифицируются на основе оценок их близо­сти к соседним образцам. Расстояние до соседних образцов является важным фактором при классификации нового образца, но важными яв­ляются и особенности распределения соседних образцов. Статистические методы используют ряд критериев, на основе которых принимается ре­шение о том, к какому из классов отнести еще неклассифицированный образец

Преимущества. Обучение вероятностной нейронной сети намного проще, чем метод обратного распространения ошибки. Недостатком сети является ее размер, поскольку она фактически содержит в себе все обучающие данные, требует много памяти и может медленно работать.

Наиболее важные преимущества PNN-сетей состоят в том, что выходное значение имеет вероятностный смысл (и поэтому его легче интерпретировать), и в том, что сеть быстро обучается. При обучения такой сети время тратится практически только на то, чтобы подавать ей на вход обучающие наблюдения, и сеть работает настолько быстро, насколько это вообще возможно.
Существенным недостатком таких сетей является их объем. PNN-сеть фактически вмещает в себя все обучающие данные, поэтому она требует много памяти и может медленно работать.

Применение: Если среди всех людей больными являются 2%, то в обучающем множестве для сети, диагностирующей заболевание, больных также должно быть 2%. При классификации для задачи классификации текстов, для локализации и исправления ошибок.

Вероятностная сеть, оценивающая вероятности принадлежности входных векторов к трем классам.