2015-02-27
604
Так как метод предсказания К - БС основывается на интуитивном предположении о том, что близко расположенные друг к другу объекты потенциально похожи, имеет смысл при построении прогнозов различать K ближайших соседов по их расстоянию до точки запроса (т.е. допустить, что чем ближе сосед к точке запроса, тем существенней ее влияние на прогноз). Это можно реализовать, используя набор весов W для каждого ближайшего соседа, который формируется на основе относительной близости каждого соседа к точке запроса. Таким образом:
где D(x, pi ) - расстояние между точкой запроса x и pi (i - тым наблюдением образцовой выборки). Ясно, что определенные таким образом веса будут удовлетворять:
Следовательно, для задачи регрессии имеем:
Для задач классификации максимум вышеприведенного уравнения берется для каждой переменной класса.
Из приведенного здесь описания понятно, что K>1 естественно определяет стандартное отклонение предсказания регрессионной задачи:
https://www.machinelearning.ru/wiki/index.php?title=%D0%9C%D0%B5%D1%82%D0%BE%D0%B4_k_%D0%B2%D0%B7%D0%B2%D0%B5%D1%88%D0%B5%D0%BD%D0%BD%D1%8B%D1%85_%D0%B1%D0%BB%D0%B8%D0%B6%D0%B0%D0%B9%D1%88%D0%B8%D1%85_%D1%81%D0%BE%D1%81%D0%B5%D0%B4%D0%B5%D0%B9_%28%D0%BF%D1%80%D0%B8%D0%BC%D0%B5%D1%80%29
|
|
|
взвешенных ближайших соседей - это метрический алгоритм классификации, основанный на оценивании сходства объектов. Классифицируемый объект относится к тому классу, которому принадлежат ближайшие к нему объекты обучающей выборки.
