Наивный байесовский классификатор

Наивный байесовский классификатор – один из самых популярных. Даже когда предположение о независимости переменных не выполняется, классификатор работает достаточно хорошо на многих данных.

Для классификации рассматриваемым методом в MatLab используется уже рассмотренная функция classify, но с двумя другими параметрами 'diagLinear' и 'diagQuadratic', которые предполагают, что матрица ковариаций является диагональной, что означает независимость переменных.

Кроме того, для классификации этим методом может быть использован класс NaiveBayes.

Предполагается, что каждая переменная и каждый класс имеют нормальное распределение.

Приведем пример пример классификации для ирисов Фишера. Вычислим ошибку на обучающем множестве и ошибку кросс-валидации.

nbGau= NaiveBayes.fit(meas(:,1:2), species);nbGauClass= nbGau.predict(meas(:,1:2));bad = ~strcmp(nbGauClass,species);nbGauResubErr = sum(bad) / NnbGauClassFun = @(xtrain,ytrain,xtest)... predict(NaiveBayes.fit(xtrain,ytrain), xtest));nbGauCVErr = crossval('mcr',meas(:,1:2),species,... 'predfun', nbGauClassFun,'partition',cp) nbGauResubErr = 0.2200 nbGauCVErr = 0.2200

Метод опорных векторов

Метод опорных векторов (Support Vector Machine - SVM) относится к группе граничных методов. Она определяет классы при помощи границ областей. При помощи данного метода решаются задачи бинарной классификации. В основе метода лежит понятие плоскостей решений. Плоскость (plane) решения разделяет объекты с разной классовой принадлежностью.

На рис.2.11 приведен пример, в котором участвуют объекты двух типов. Разделяющая линия задает границу, справа от которой - все объекты типа brown (коричневый), а слева - типа yellow (желтый). Новый объект, попадающий направо, классифицируется как объект класса brown или - как объект класса yellow, если он расположился по левую сторону от разделяющей прямой. В этом случае каждый объект характеризуется двумя измерениями. Цель метода опорных векторов - найти плоскость, разделяющую два множества объектов; такая плоскость показана на рис. 2.12 пунктиром.

Метод отыскивает образцы, находящиеся на границах между двумя классами, т.е. опорные вектора; они изображены на рис. 2.13.

Опорными векторами называются объекты множества, лежащие на границах областей. Классификация считается хорошей, если область между границами пуста. На рис. 2.13 показано пять векторов, которые являются опорными для данного множества.