Метрика расстояния

Как было описано выше, имея точку запроса, процедура К - БС строит прогноз на основе выходов K ближайших к этой точке соседов. Следовательно, для работы метода K - БС необходимо определить метрику для вычисления расстояния между точкой запроса и наблюдениями образцовой выборки. Наиболее часто используется Евклидова метрика. Применяются и другие меры: Квадрат евклидового расстояния, Манхеттенское расстояние, расстояние Чебышева:

где x и p - точка запроса и наблюдение из образцовой выборки соответственно.

Предсказания методом К - Ближайщих соседей (К - БС)

Определив значение параметра К, вы можете построить прогноз, используя наблюдения - примеры для метода К - БС. Для задачи регрессии прогноз - это усреднение выходов ближайших соседов.

где y_i - i - ое наблюдение образцовой выборки и y - предсказанное значение (выход) точки запроса. В отличие от регрессии, пердсказание для задач классификации строится на основе схемы голосования, в соответсвии с которой в качестве результата берется метка победителя.