Необходимые условия экстремума и его геометрическая интерпретация
Рассмотрим — мерное пространство векторов , в котором определено скалярное произведение , где
, .
Поскольку вектор можно рассматривать как матрицу размерности , то для обозначения матриц данной размерности будем применять соответствующие буквенные обозначения векторов без стрелки над буквой, например:
Тогда скалярное произведение выглядит следующим образом:
.
Пусть — единичный вектор, а — вектор ошибок:
, .
Тогда регрессионная прямая имеет вид:
(1)
В самом деле, для каждого -го наблюдения имеем:
, ()
тогда для всех наблюдений:
,
что является развернутой формулой уравнения ().
Геометрическая интерпретация уравнения (1): вектор лежит в плоскости , натянутой на вектора и . Проиллюстрируем расположение вектора на плоскости (рис. 3.5).
Рис. 3.5 Расположение вектора в плоскости . | Рис. 3.6 Аппроксимация вектора вектором . |
Это есть геометрическая интерпретация задачи МНК:
,
Задача МНК состоит в том, чтобы найти такие a, b, чтобы длина вектора была минимальной:
|
|
min.
Геометрически задачу МНК можно сформулировать так: найти наилучшую аппроксимацию вектора вектором , лежащим в плоскости (рис. 3.6). Для этого необходимо и достаточно, чтобы вектор был перпендикулярен плоскости .
Запишем это с использованием матричных обозначений:
Если , то он перпендикулярен любому вектору с плоскости , значит и . Если векторы перпендикулярны, то их скалярное произведение равно нулю:
,
(2).
Система (2) является системой нормальных уравнений, полученной в п. 3.6.