Качество оценивания регрессии в случае КЛММР

Для оценки параметров регрессии используется метод наименьших квадратов. В соответствии с МНК минимизируется сумма квадратов остатков

Q=åe_i²=å(y_i-y^_i)²®min

Необходимым условием ее минимума является равенство нулю всех ее частных производных по b0,b_1…b_k.

В результате приходим к системе из (к + 1) линейного уравнения с (к + 1) неизвестным, называемой системой нормальных уравнений. Ее решение в явном виде обычно записывается в матричной форме, иначе оно становится слишком громоздким.

Оценки параметров модели и их теоретические дисперсии в матричной форме определяются выражениями

b = (X^T X)^-1 X^TY, S(b_j) = (X^T X)^-1 _jjs²,

где b— вектор с компонентами b0, b_1…b_k X— матрица значений объясняющих переменных; Y — вектор значений зависимой переменной, s^2--дисперсия случайного члена.

Несмещенной оценкой s² является величина S^² (остаточная дисперсия):

S^²=(1/n-k-1)åe_i²

Величина S^ называется стандартной ошибкой регрессии.

Заменяя в теоретических дисперсиях неизвестную дисперсию s² на ее оценку S²= S^² и извлекая квадратный корень, получим стандартные ошибки оценок коэффициентов регрессии

Следует иметь ввиду что эти оценки находятся на главной диагонали ковариационной матрицы S(b) = s² (X^T X)^-1

Если предпосылки относительно случайного члена e выполняются, оценки параметров множественной регрессии являются несмещенными, состоятельными и эффективными.

При использовании компьютерных программ коэффициенты регрессии b₀, b₁,..., b_k и их стандартные отклонения вычисляются одновременно.