Регрессия

В этом разделе мы обобщим принцип К - БС для задач регрессии. Регрессионные задачи связаны с предсказанием отклика зависимой переменной по данному набору независимых переменных. Для начала рассмотрим приведенную выше схему. Изображенный на ней набор точек (зеленые прямоугольники) получен по связи между независимой переменной x и зависимой переменной y (кривая красного цвета). Задан набор зеленых объектов (т.е набор примеров); мы используем метод К - ближайших соседей для предсказания выхода точки запроса X по данному набору примеров (зеленые прямокгольники).

Сначала рассмотрим в качестве примера метод К - БС с использованием одного ближайшего соседа. Мы ищем набор примеров (зеленые прямоугольники) и выделяем из их числа ближайший к точке запроса X. Для нашего случая пусть это будет x ₄. Выход x ₄ (т.е. y ₄), таким образом, принимается в качестве результата предсказания выхода X (т.е. Y). Следовательно, для 1 - ближайшего соседа можем записать:

Y = y ₄

Далее рассмотрим метод 2 - ближайших соседей. В этом случае мы выделяем уже 2 ближайшие к X точки. Пусть, например, они будут y ₃ и y ₄ соответсвенно. Вычислив среднее их выходов, записываем решение для Y в виде:

Описанные выше действия с легкостью переносятся на случай использования произвольного числа ближайших соседей. Подводя итог, отметим, что в методе К - ближайших соседей выход Y точки запроса X кладется равным среднему значению выходов К ближайших соседей точки запроса.