Матричная форма записи уравнения регрессии

Необходимые условия экстремума и его геометрическая интерпретация

Рассмотрим — мерное пространство векторов , в котором определено скалярное произведение , где

, .

Поскольку вектор можно рассматривать как матрицу размерности , то для обозначения матриц данной размерности будем применять соответствующие буквенные обозначения векторов без стрелки над буквой, например:

Тогда скалярное произведение выглядит следующим образом:

Пусть — единичный вектор, а — вектор ошибок:

, .

Тогда регрессионная прямая имеет вид:

(1)

В самом деле, для каждого -го наблюдения имеем:

, ()

тогда для всех наблюдений:

что является развернутой формулой уравнения ().

Геометрическая интерпретация уравнения (1): вектор лежит в плоскости , натянутой на вектора и . Проиллюстрируем расположение вектора на плоскости (рис. 3.5).


Рис. 3.5 Расположение вектора в плоскости .	Рис. 3.6 Аппроксимация вектора вектором .

Это есть геометрическая интерпретация задачи МНК:

Задача МНК состоит в том, чтобы найти такие a, b, чтобы длина вектора была минимальной:

min.

Геометрически задачу МНК можно сформулировать так: найти наилучшую аппроксимацию вектора вектором , лежащим в плоскости (рис. 3.6). Для этого необходимо и достаточно, чтобы вектор был перпендикулярен плоскости .